Local LLM Nedir? Bilgisayarımda Hangi Yapay Zekâ Modelini Çalıştırabilirim?

ChatGPT, Claude veya Gemini gibi yapay zekâ servislerini kullandığınızda model sizin bilgisayarınızda çalışmaz. Sorunuz internet üzerinden uzak sunuculara gönderilir ve yapay zekâ modeli bu sunucularda çalışarak cevabı size iletir.

Local LLM yaklaşımında ise yapay zekâ modelini kendi bilgisayarınızda, iş istasyonunuzda veya şirketinizin kendi sunucusunda çalıştırabilirsiniz.

Örneğin Qwen, Llama, Gemma veya Phi gibi modellerden birini indirip kendi GPU'nuz üzerinde çalıştırabilir, daha sonra bu modeli kendi uygulamalarınıza API üzerinden bağlayabilirsiniz.

Local LLM Neden Kullanılır?

Local LLM kullanmanın amacı sadece "ChatGPT'yi ücretsiz kullanmak" değildir. Asıl avantaj, model ve veriler üzerindeki kontrolün önemli ölçüde size geçmesidir.

1. Verilerinizi kendi altyapınızda tutabilirsiniz

Şirketinizin kaynak kodlarını, sözleşmelerini, müşteri dokümanlarını veya teknik belgelerini bir yapay zekâ sistemine kullandırmak istediğinizi düşünün.

Model kendi altyapınızda çalışıyorsa bu verileri üçüncü taraf bir LLM API'sine göndermeden bir AI sistemi oluşturmanız mümkün olabilir.

2. Kendi AI API'nizi oluşturabilirsiniz

Local LLM sadece sohbet etmek için kullanılmaz. Kendi uygulamanızın arkasına bir yapay zekâ servisi koyabilirsiniz.

C# / Python / Web Application
            ↓
       Local LLM API
            ↓
   Ollama / llama.cpp / vLLM
            ↓
      Qwen / Llama
            ↓
           GPU

3. RAG sistemleri oluşturabilirsiniz

Local LLM'ler şirket dokümanlarıyla çalışan RAG sistemlerinde de kullanılabilir.

PDF
 ↓
Markdown / Text
 ↓
Chunk
 ↓
Embedding
 ↓
Vector Database
 ↓
Relevant Chunks
 ↓
Local LLM
 ↓
Answer

Burada önemli bir ayrım vardır: LLM ile RAG aynı şey değildir.

RAG sistemi doğru doküman parçalarını bulur. LLM ise kendisine verilen bağlamı kullanarak cevabı oluşturur.

Local LLM ile Open-Weight Aynı Şey mi?

Local LLM ve open-weight kavramları birbirine yakın olsa da aynı şeyi ifade etmez.

Bu nedenle indirilebilir ağırlıklara sahip olan her modelin teknik olarak tamamen "open source" olduğunu söylemek doğru değildir. Bu yüzden local AI dünyasında open-weight model ifadesiyle sık sık karşılaşabilirsiniz.

Bilgisayarım Hangi LLM'i Çalıştırabilir?

Local LLM seçerken ilk bakmanız gereken şey modelin kaç milyar parametreye sahip olduğu değildir.

İlk bakmanız gereken değerlerden biri GPU'nuzun VRAM kapasitesidir.

Çünkü model ağırlıklarının yanında context, KV cache, batch size ve runtime tarafından kullanılan ek bellek de GPU belleğine ihtiyaç duyabilir.

Parametre Sayısı Nedir?

LLM'lerin yanında genellikle şu ifadeleri görürsünüz:

Buradaki B, Billion yani milyar anlamına gelir.

Ancak "8B model = 8 GB RAM" şeklinde basit bir hesap yapmak doğru değildir. Modelin hangi precision veya quantization formatında çalıştığı da önemlidir.

Quantization Nedir?

Local LLM dünyasında en önemli kavramlardan biri de quantization'dır.

Quantization, model ağırlıklarının daha düşük hassasiyetli sayısal formatlarda temsil edilerek bellek kullanımının azaltılmasını sağlayan yöntemlerden biridir.

Bir model için örneğin şu varyasyonları görebilirsiniz:

Örneğin aynı modelin Q4 versiyonu, FP16 versiyonuna göre çok daha az bellek kullanabilir. Bunun karşılığında belirli görevlerde kalite kaybı görülebilir.

Bu nedenle local LLM seçiminde yalnızca modelin parametre sayısına değil, hangi quantization ile çalıştırıldığına de bakmak gerekir.

VRAM'e Göre Hangi Model?

Aşağıdaki tablo kesin bir donanım gereksinimi değildir. Context uzunluğu, quantization, batch size, model mimarisi ve runtime gibi değişkenler gerçek bellek ihtiyacını değiştirebilir.

RAM Ne Kadar Önemli?

RAM de önemlidir ancak RAM ile VRAM aynı şey değildir.

GPU üzerinde inference yaparken modelin mümkün olduğunca büyük bölümünü VRAM'de tutmak performans açısından önemlidir.

CPU üzerinde veya CPU+GPU hibrit şekilde de model çalıştırılabilir. Ancak çalıştırabilmek ile hızlı çalıştırabilmek aynı şey değildir.

Local LLM İçin Hangi Ekran Kartı?

Local AI için ekran kartı seçerken yalnızca GPU'nun ham işlem gücüne bakmak yeterli değildir.

Özellikle büyük modeller için VRAM kapasitesi kritik bir faktördür.

Özellikle NVIDIA tarafında CUDA ekosistemi nedeniyle birçok AI framework'ü ve inference aracı yaygın şekilde kullanılmaktadır.

Ancak AMD veya farklı GPU seçenekleri de tamamen dışarıda değildir. Kullanacağınız runtime'ın ve framework'ün donanım desteğini ayrıca kontrol etmek gerekir.

Ollama, llama.cpp ve vLLM Nedir?

Burada sık yapılan bir hata vardır:

Qwen, Llama veya Gemma bir modeldir.

Ollama, llama.cpp ve vLLM ise modeli çalıştırmak veya servis etmek için kullanılan yazılım katmanlarıdır.

Ollama

Local LLM'e yeni başlayanların karşılaşacağı en kolay araçlardan biridir.

ollama run qwen3

Bu yaklaşımda amaç genellikle modeli hızlıca indirip çalıştırmak ve local AI dünyasını öğrenmektir.

llama.cpp

Daha fazla kontrol isteyen kullanıcılar için önemli bir seçenektir. Özellikle GGUF formatındaki quantized modellerle oldukça yaygın şekilde kullanılır.

llama-server
    ↓
OpenAI Compatible API
    ↓
Your Application
    ↓
Local Model

vLLM

Bir modeli sadece kendi bilgisayarınızda sohbet etmek için çalıştırmak ile modeli birden fazla kullanıcının eriştiği API olarak sunmak aynı problem değildir.

Çoklu istek ve yüksek throughput gerektiren serving senaryolarında vLLM gibi inference motorları daha anlamlı hale gelir.

Local LLM + RAG Nasıl Çalışır?

Örneğin şirketinizde binlerce PDF ve teknik doküman olduğunu düşünelim. Bunları doğrudan LLM'in içine yüklemek yerine bir RAG mimarisi oluşturabilirsiniz.

                  DOCUMENTS
                      │
                      ▼
              PDF / Word / HTML
                      │
                      ▼
                   Chunking
                      │
                      ▼
                  Embedding
                      │
                      ▼
             PostgreSQL + pgvector
                      │
                      │
User Question ────────┤
                      ▼
                 Vector Search
                      │
                      ▼
               Relevant Chunks
                      │
                      ▼
                 Local LLM
                      │
                      ▼
                    Answer

Böyle bir sistemde Local LLM'in şirketinizin bütün dokümanlarını ezberlemesi gerekmez.

Sorgu geldiğinde ilgili içerikler bulunur ve modele bağlam olarak gönderilir.

Fine-Tuning Gerekli mi?

Local LLM kullananların sık yaptığı bir başka hata, her problemi fine-tuning ile çözmeye çalışmaktır.

Örneğin amacınız:

"Model şirketimin PDF'lerinden cevap versin."

ise ilk olarak fine-tuning yapmak yerine RAG yaklaşımını değerlendirmek daha doğrudan bir çözümdür.

Basit bir ifadeyle:

Ben Hangi Modeli Seçmeliyim?

"En iyi local LLM hangisi?" sorusunun tek bir cevabı yoktur.

Model seçerken şu sırayı takip etmek daha sağlıklıdır:

1. Ne yapmak istediğinizi belirleyin.
2. GPU'nuzun VRAM kapasitesini öğrenin.
3. Model boyutunu belirleyin.
4. Uygun quantization seçin.
5. Runtime seçin.
6. Gerçek kullanım senaryonuzla test edin.

Örneğin 24 GB VRAM'im Varsa?

24 GB VRAM, local LLM öğrenmek ve gerçek uygulamalar geliştirmek için oldukça kullanışlı bir kapasitedir.

Örneğin başlangıçta şöyle bir sistem kurulabilir:

24 GB NVIDIA GPU
       │
       ▼
    Qwen 8B
       │
       ▼
     Ollama
       │
       ▼
    Open WebUI
       │
       ▼
 Local Chat Interface

Daha sonra RAG ekleyebilirsiniz:

Qwen
  │
  ├── Ollama
  │
  └── RAG
       │
       ├── Embedding Model
       ├── PostgreSQL
       └── pgvector

Sonrasında farklı modelleri aynı sorular üzerinde test ederek kendi kullanım senaryonuz için hangi modelin daha uygun olduğunu ölçebilirsiniz.

Local LLM İçin Nasıl Bir Bilgisayar Gerekir?

Tek bir minimum sistem gereksinimi yoktur. Kullanacağınız model büyüdükçe ihtiyaç duyulan donanım da değişir.

Local LLM Kurarken Yapılan En Büyük Hata

Local AI dünyasına yeni girenlerin yaptığı en yaygın hatalardan biri şudur:

"En büyük modeli kurarsam en iyi sonucu alırım."

Gerçekte bir LLM sisteminin performansı yalnızca parametre sayısına bağlı değildir.

Model
  +
Quantization
  +
Context
  +
Prompt
  +
RAG
  +
Embedding
  +
Retriever
  +
Hardware
  +
Serving
  =
Gerçek Sistem Performansı

Örneğin kötü bir RAG sistemiyle büyük bir model kullanmak yerine, doğru dokümanı bulan iyi tasarlanmış bir RAG sistemiyle daha küçük bir model bazı kullanım senaryolarında yeterli olabilir.

Local LLM'e Nereden Başlamalı?

Eğer local LLM dünyasına ilk kez giriyorsanız her şeyi aynı anda öğrenmeye çalışmak yerine aşağıdaki sırayı takip etmek daha kolaydır:

1. GPU'nuzun VRAM kapasitesini öğrenin.
2. Kullanım amacınızı belirleyin.
3. Bu donanıma uygun bir model seçin.
4. Uygun quantized modeli belirleyin.
5. Ollama veya llama.cpp ile modeli çalıştırın.
6. Modeli gerçek sorularla test edin.
7. RAG gerekiyorsa Vector Database ekleyin.
8. Modeli kendi uygulamanıza API üzerinden bağlayın.
9. Çoklu kullanıcı ve yüksek throughput gerekiyorsa serving katmanını değerlendirin.

Hızlı Local LLM Karar Tablosu

Sonuç

Local LLM dünyasına girerken aslında birbirinden farklı birkaç teknolojiyi birlikte görürsünüz:

Bir Sonraki Adım

Local LLM'i teoride anlamak başka, kendi bilgisayarınızda çalıştırmak başka bir şeydir. İlk deneme için küçük bir modelle başlayıp daha sonra RAG ve API entegrasyonuna geçmek çok daha öğretici olacaktır.

Özellikle geliştiriciyseniz hedefiniz sadece "local chatbot çalıştırmak" olmamalı. Asıl değer, local modeli kendi uygulamalarınızın bir parçası haline getirmeye başladığınızda ortaya çıkar.