Private AI ve Local LLM Nedir? Bilgisayarımda Hangi Yapay Zekâ Modelini Çalıştırabilirim?

Private AI, veriyi üçüncü parti bir API'ye göndermeden kendi bilgisayarınızda veya şirket sunucunuzda çalışan yapay zekâdır. Local LLM bunun teknik yoludur: büyük dil modeli uzak API yerine sizin kontrol ettiğiniz ortamda çalışır. Model seçimi VRAM'e, pratik kurulum Ollama'ya bağlıdır.

ChatGPT, Claude veya Gemini gibi yapay zekâ servislerini kullandığınızda model sizin bilgisayarınızda çalışmaz. Sorunuz internet üzerinden uzak sunuculara gönderilir ve yapay zekâ modeli bu sunucularda çalışarak cevabı size iletir.

Local LLM yaklaşımında yapay zekâ modelini kendi bilgisayarınızda, iş istasyonunuzda veya şirketinizin kendi sunucusunda çalıştırırsınız. Bugün buna sıkça Private AI da denir: aynı fikir, kurumsal ve gizlilik odaklı çerçevede.

Örneğin Qwen, Llama, Gemma veya Phi gibi modellerden birini indirip kendi GPU'nuz üzerinde çalıştırabilir, daha sonra bu modeli kendi uygulamalarınıza API üzerinden bağlayabilirsiniz.

Local LLM Neden Kullanılır?

Local LLM / Private AI kullanmanın amacı sadece "ChatGPT'yi ücretsiz kullanmak" değildir. Asıl avantaj, model ve veriler üzerindeki kontrolün önemli ölçüde size geçmesidir.

1. Verilerinizi kendi altyapınızda tutabilirsiniz

Şirketinizin kaynak kodlarını, sözleşmelerini, müşteri dokümanlarını veya teknik belgelerini bir yapay zekâ sistemine kullandırmak istediğinizi düşünün.

Model kendi altyapınızda çalışıyorsa bu verileri üçüncü taraf bir LLM API'sine göndermeden bir AI sistemi oluşturmanız mümkün olabilir.

2. Kendi AI API'nizi oluşturabilirsiniz

Local LLM sadece sohbet etmek için kullanılmaz. Kendi uygulamanızın arkasına bir yapay zekâ servisi koyabilirsiniz.

C# / Python / Web Application
            ↓
       Local LLM API
            ↓
   Ollama / llama.cpp / vLLM
            ↓
      Qwen / Llama
            ↓
           GPU

3. RAG sistemleri oluşturabilirsiniz

Local LLM'ler şirket dokümanlarıyla çalışan RAG sistemlerinde de kullanılabilir.

PDF
 ↓
Markdown / Text
 ↓
Chunk
 ↓
Embedding
 ↓
Vector Database
 ↓
Relevant Chunks
 ↓
Local LLM
 ↓
Answer

Burada önemli bir ayrım vardır: LLM ile RAG aynı şey değildir.

RAG sistemi doğru doküman parçalarını bulur. LLM ise kendisine verilen bağlamı kullanarak cevabı oluşturur.

4. İnternet kesilse de model durmaz

Model dosyası diske indikten sonra soru-cevap için dışarıya bağlanmak gerekmez. Ağ kesilince bulut sohbeti durur. Yerel model, aynı makinede kaldığı sürece cevap üretmeye devam eder. İndirme ve model güncellemesi için internet yine gerekir.

5. Gecikme ağda değil, karttadır

Bulut modelinde ilk beklemenin bir kısmı, isteğin gidip gelmesidir. Local LLM’de bu tur yoktur. Kalan süre, modelin kaç token ürettiği ve GPU’nun ne kadar hızlı olduğudur. Canlı destek, kod tamamlama ve ofis içi asistan gibi “cevap hemen gelsin” işlerinde bu ayrım hissedilir.

Local LLM ile Open-Weight Aynı Şey mi?

Local LLM ve open-weight kavramları birbirine yakın olsa da aynı şeyi ifade etmez.

Bu nedenle indirilebilir ağırlıklara sahip olan her modelin teknik olarak tamamen "open source" olduğunu söylemek doğru değildir. Bu yüzden local AI dünyasında open-weight model ifadesiyle sık sık karşılaşabilirsiniz.

Bilgisayarım Hangi LLM'i Çalıştırabilir?

Local LLM seçerken ilk bakmanız gereken şey modelin kaç milyar parametreye sahip olduğu değildir.

İlk bakmanız gereken değerlerden biri GPU'nuzun VRAM kapasitesidir.

Çünkü model ağırlıklarının yanında context, KV cache, batch size ve runtime tarafından kullanılan ek bellek de GPU belleğine ihtiyaç duyabilir.

Parametre Sayısı Nedir?

LLM'lerin yanında genellikle şu ifadeleri görürsünüz:

Buradaki B, Billion yani milyar anlamına gelir.

Ancak "8B model = 8 GB RAM" şeklinde basit bir hesap yapmak doğru değildir. Modelin hangi precision veya quantization formatında çalıştığı da önemlidir.

Quantization Nedir?

Local LLM dünyasında en önemli kavramlardan biri de quantization'dır.

Quantization, model ağırlıklarının daha düşük hassasiyetli sayısal formatlarda temsil edilerek bellek kullanımının azaltılmasını sağlayan yöntemlerden biridir.

Bir model için örneğin şu varyasyonları görebilirsiniz:

Örneğin aynı modelin Q4 versiyonu, FP16 versiyonuna göre çok daha az bellek kullanabilir. Bunun karşılığında belirli görevlerde kalite kaybı görülebilir.

Bu nedenle local LLM seçiminde yalnızca modelin parametre sayısına değil, hangi quantization ile çalıştırıldığına de bakmak gerekir.

İndirilen dosyanın biçimi çoğu zaman GGUF’dir. Günlük kullanımda denge noktası Q4_K_M olur: dosya küçülür, cevap hâlâ iş görür. Kaliteyi zorlamak istiyorsanız Q5 veya Q6, neredeyse orijinal ağırlığa yakın durmak istiyorsanız Q8 seçilir. Q2 ve Q3, model ancak o zaman karta sığıyorsa anlamlıdır. Ollama’daki hazır etiketler (qwen3:8b, gemma3:4b gibi) çoğu zaman bu Q4 ailesinden gelir. Siz ayrı bir GGUF dosyası seçmezsiniz; etiketi seçmiş olursunuz.

VRAM'e Göre Hangi Model?

Aşağıdaki tablo kesin bir donanım gereksinimi değildir. Context uzunluğu, quantization, batch size, model mimarisi ve runtime gibi değişkenler gerçek bellek ihtiyacını değiştirebilir.

RAM Ne Kadar Önemli?

RAM de önemlidir ancak RAM ile VRAM aynı şey değildir.

GPU üzerinde inference yaparken modelin mümkün olduğunca büyük bölümünü VRAM'de tutmak performans açısından önemlidir.

CPU üzerinde veya CPU+GPU hibrit şekilde de model çalıştırılabilir. Ancak çalıştırabilmek ile hızlı çalıştırabilmek aynı şey değildir.

Local LLM İçin Hangi Ekran Kartı?

Local AI için ekran kartı seçerken yalnızca GPU'nun ham işlem gücüne bakmak yeterli değildir.

Özellikle büyük modeller için VRAM kapasitesi kritik bir faktördür.

Özellikle NVIDIA tarafında CUDA ekosistemi nedeniyle birçok AI framework'ü ve inference aracı yaygın şekilde kullanılmaktadır.

Ancak AMD veya farklı GPU seçenekleri de tamamen dışarıda değildir. Kullanacağınız runtime'ın ve framework'ün donanım desteğini ayrıca kontrol etmek gerekir.

Ollama, llama.cpp ve vLLM Nedir?

Burada sık yapılan bir hata vardır:

Qwen, Llama veya Gemma bir modeldir.

Ollama, llama.cpp ve vLLM ise modeli çalıştırmak veya servis etmek için kullanılan yazılım katmanlarıdır.

Ollama

Local LLM'e yeni başlayanların karşılaşacağı en kolay araçlardan biridir. Modeli indirir, arka planda bir servis açar ve uygulamanıza OpenAI uyumlu bir adres bırakır.

ollama run qwen3:8b

Bu komut dosyayı indirir ve sohbeti açar. Amaç önce modeli ayağa kaldırmaktır. Kurulumun adımları bir sonraki başlıktadır.

llama.cpp

Daha fazla kontrol isteyen kullanıcılar için önemli bir seçenektir. Özellikle GGUF formatındaki quantized modellerle oldukça yaygın şekilde kullanılır. Ollama’nın altında da bu motorun bir türevi vardır.

llama-server
    ↓
OpenAI Compatible API
    ↓
Your Application
    ↓
Local Model

LM Studio

Aynı GGUF modellerini bir pencereden indirip sohbet ettirir. Model arama, GPU’ya kaç katman yükleneceği ve yerel sunucu burada yan yanadır. Komut yazmadan denemek isteyen kişi buradan başlar.

vLLM

Bir modeli sadece kendi bilgisayarınızda sohbet etmek için çalıştırmak ile modeli birden fazla kullanıcının eriştiği API olarak sunmak aynı problem değildir.

Çoklu istek ve yüksek throughput gerektiren serving senaryolarında vLLM gibi inference motorları daha anlamlı hale gelir. Ollama, vLLM ve SGLang arasındaki bu ayrımı üretimde hangisini çalıştırmalı yazısında ayırdım.

Local LLM Nasıl Kurulur?

İlk kurulumda üç yol vardır. Windows’ta en kısa yol Ollama’dır. Pencere isteyen LM Studio’yu açar. Elinde hazır bir GGUF dosyası olan llama.cpp ile gider. Üçü de modeli kendi kartınızda çalıştırır. Fark, indirme ve API’yi kimin kurduğundadır.

Windows’ta Ollama kurulumu

ollama.com/download adresinden Windows kurulumunu alın. Kurulum bitince uygulama arka planda kalır. Varsayılan adres http://127.0.0.1:11434 olur. Tarayıcıda bu adresi açtığınızda Ollama’nın ayakta olduğu görülür.

PowerShell’de VRAM’inize uygun etiketi çalıştırın. run, dosya yoksa indirir.

ollama run qwen3:4b

Sohbet açıldıysa kurulum tamamdır. /bye ile çıkılır. İndirilenler ollama list ile görünür.

Aşağıdaki etiketler Ollama kütüphanesindeki gerçek dosya boyutlarıdır. Dosya boyutu, çalışma anındaki VRAM değildir. Context ve KV cache ayrıca yer tutar. Bu satırlar “şu kartta kesin çalışır” listesi değil, ilk denenecek adaydır.

Bunu kalıcı yapmak için bir Modelfile yazın:

FROM qwen3:4b
PARAMETER num_ctx 8192

ollama create qwen3-4b-8k -f Modelfile
ollama run qwen3-4b-8k

Kendi uygulamanız bu servise HTTP ile gider. Uç, OpenAI sohbet sözleşmesinin yerel kopyasıdır.

var client = new HttpClient
{
    BaseAddress = new Uri("http://127.0.0.1:11434/v1/")
};

var response = await client.PostAsJsonAsync("chat/completions", new
{
    model = "qwen3:8b",
    messages = new[]
    {
        new { role = "user", content = "Bu paragrafı üç maddeyle özetle." }
    }
});

string json = await response.Content.ReadAsStringAsync();

model alanı, ollama list çıktısındaki etiketle aynı olmalıdır. Tarayıcıdan sohbet istiyorsanız aynı Ollama’nın önüne Open WebUI konur. O kurulumun Windows ve Docker adımlarını Ollama + Open WebUI yazısında ayırdım.

LM Studio ile kurulum

Komut satırı istemeyen kişi LM Studio kurar. Soldaki model aramasında Qwen3 veya Gemma 3 bulunur. İndirirken boyutta Q4_K_M yazanı seçin. Bu, yukarıdaki Q4 dengesiyle aynı karardır; yalnızca dosyayı sizin adınıza Ollama değil, siz seçersiniz.

Sohbet penceresi açıldığında katmanların GPU’ya yüklenmesini açık bırakın. NVIDIA kartta CUDA yolu hazır gelir. CPU’ya düşen katman cevap süresini uzatır. Geliştirici bölümündeki yerel sunucu, uygulamaya OpenAI uyumlu bir adres verir. Birçok kurulumda bu adres http://127.0.0.1:1234/v1 olur. Portu ekranda yazanı kullanın, ezberdeki rakamı değil.

llama.cpp ile GGUF çalıştırmak

Model dosyası elinizdeyse Ollama’ya gerek kalmaz. llama.cpp’nin Windows binary’si proje sayfasındaki yayımlardan iner. Kaynak derlemek ilk günün işi değildir.

llama-server -m C:\models\qwen3-8b-q4.gguf -c 8192 --port 8080

-c context uzunluğudur. Uygulama http://127.0.0.1:8080/v1 adresine bakar. Burada model adı bir Ollama etiketi değil, yüklediğiniz dosyadır. Apple Silicon, NVIDIA ve CPU aynı binary ailesinde yürür; hangi backend’in açık olduğu, indirdiğiniz sürüme ve kart sürücüsüne bağlıdır.

GPT4All ve LocalAI ne zaman

GPT4All masaüstü sohbet içindir. Model seçimi sihirbazla gelir, bağımlılığı kendi kurar. Kendi uygulamanıza API bağlayacaksanız yol uzar. O iş için Ollama veya llama.cpp daha düzdür.

LocalAI, OpenAI API’sinin yerel karşılığı olarak durur. Metin dışında birden fazla model ailesini aynı uçta toplamak istiyorsanız bakılır. Tek sohbet ve tek C# istemcisi için ilk kurulum bu değildir.

Local LLM + RAG Nasıl Çalışır?

Örneğin şirketinizde binlerce PDF ve teknik doküman olduğunu düşünelim. Bunları doğrudan LLM'in içine yüklemek yerine bir RAG mimarisi oluşturabilirsiniz.

                  DOCUMENTS
                      │
                      ▼
              PDF / Word / HTML
                      │
                      ▼
                   Chunking
                      │
                      ▼
                  Embedding
                      │
                      ▼
             PostgreSQL + pgvector
                      │
                      │
User Question ────────┤
                      ▼
                 Vector Search
                      │
                      ▼
               Relevant Chunks
                      │
                      ▼
                 Local LLM
                      │
                      ▼
                    Answer

Böyle bir sistemde Local LLM'in şirketinizin bütün dokümanlarını ezberlemesi gerekmez.

Sorgu geldiğinde ilgili içerikler bulunur ve modele bağlam olarak gönderilir.

Fine-Tuning Gerekli mi?

Local LLM kullananların sık yaptığı bir başka hata, her problemi fine-tuning ile çözmeye çalışmaktır.

Örneğin amacınız:

"Model şirketimin PDF'lerinden cevap versin."

ise ilk olarak fine-tuning yapmak yerine RAG yaklaşımını değerlendirmek daha doğrudan bir çözümdür.

Basit bir ifadeyle:

Ben Hangi Modeli Seçmeliyim?

"En iyi local LLM hangisi?" sorusunun tek bir cevabı yoktur.

Model seçerken şu sırayı takip etmek daha sağlıklıdır:

1. Ne yapmak istediğinizi belirleyin.
2. GPU'nuzun VRAM kapasitesini öğrenin.
3. Model boyutunu belirleyin.
4. Uygun quantization seçin.
5. Runtime seçin.
6. Gerçek kullanım senaryonuzla test edin.

Örneğin 24 GB VRAM'im Varsa?

24 GB VRAM, local LLM öğrenmek ve gerçek uygulamalar geliştirmek için oldukça kullanışlı bir kapasitedir.

Örneğin başlangıçta şöyle bir sistem kurulabilir:

24 GB NVIDIA GPU
       │
       ▼
    Qwen 8B
       │
       ▼
     Ollama
       │
       ▼
    Open WebUI
       │
       ▼
 Local Chat Interface

Daha sonra RAG ekleyebilirsiniz:

Qwen
  │
  ├── Ollama
  │
  └── RAG
       │
       ├── Embedding Model
       ├── PostgreSQL
       └── pgvector

Sonrasında farklı modelleri aynı sorular üzerinde test ederek kendi kullanım senaryonuz için hangi modelin daha uygun olduğunu ölçebilirsiniz.

Local LLM İçin Nasıl Bir Bilgisayar Gerekir?

Tek bir minimum sistem gereksinimi yoktur. Kullanacağınız model büyüdükçe ihtiyaç duyulan donanım da değişir.

Local LLM Kurarken Yapılan En Büyük Hata

Local AI dünyasına yeni girenlerin yaptığı en yaygın hatalardan biri şudur:

"En büyük modeli kurarsam en iyi sonucu alırım."

Gerçekte bir LLM sisteminin performansı yalnızca parametre sayısına bağlı değildir.

Model
  +
Quantization
  +
Context
  +
Prompt
  +
RAG
  +
Embedding
  +
Retriever
  +
Hardware
  +
Serving
  =
Gerçek Sistem Performansı

Örneğin kötü bir RAG sistemiyle büyük bir model kullanmak yerine, doğru dokümanı bulan iyi tasarlanmış bir RAG sistemiyle daha küçük bir model bazı kullanım senaryolarında yeterli olabilir.

Local LLM'e Nereden Başlamalı?

Eğer local LLM dünyasına ilk kez giriyorsanız her şeyi aynı anda öğrenmeye çalışmak yerine aşağıdaki sırayı takip etmek daha kolaydır:

1. GPU'nuzun VRAM kapasitesini öğrenin.
2. Kullanım amacınızı belirleyin.
3. Bu donanıma uygun bir model seçin.
4. Uygun quantized modeli belirleyin.
5. Ollama veya llama.cpp ile modeli çalıştırın.
6. Modeli gerçek sorularla test edin.
7. RAG gerekiyorsa Vector Database ekleyin.
8. Modeli kendi uygulamanıza API üzerinden bağlayın.
9. Çoklu kullanıcı ve yüksek throughput gerekiyorsa serving katmanını değerlendirin.

Hızlı Local LLM Karar Tablosu

Sonuç

Local LLM dünyasına girerken aslında birbirinden farklı birkaç teknolojiyi birlikte görürsünüz:

Sık sorulan sorular

Local LLM nedir?

Local LLM, büyük dil modelinin ChatGPT gibi uzak bir sunucuda değil, sizin bilgisayarınızda veya kendi sunucunuzda çalışmasıdır. Soru ve belge dışarı çıkmaz. Cevabı GPU’nuz üretir.

Local LLM ile open-weight aynı şey midir?

Hayır. Open-weight, model ağırlığının indirilebilir olmasıdır. Local LLM, o ağırlığı nerede çalıştırdığınızdır. İndirilen her modelin eğitim kodu da açık değildir. Bu yüzden açık kaynak ile açık ağırlık ayrı yazılır.

Bilgisayarımda hangi yapay zekâ modelini çalıştırabilirim?

Önce VRAM’e bakılır. 8 GB kartta ilk aday Qwen3 4B veya Gemma 3 4B’dir. 12–16 GB’ta Qwen3 8B, 24 GB’ta daha büyük quantized modeller denenebilir. Dosya boyutu ile çalışma belleği aynı değildir. Context uzadıkça kart dolar.

Ollama Windows’a nasıl kurulur?

ollama.com üzerindeki Windows kurulumunu çalıştırın. Servis http://127.0.0.1:11434 adresinde açılır. PowerShell’de ollama run qwen3:4b yazmak modeli indirir ve sohbeti başlatır. Kendi uygulamanız aynı adresin /v1/chat/completions ucuna gider.

Kurulumdan sonra internet gerekir mi?

Model bir kez indikten sonra soru-cevap için gerekmez. Yeni model indirmek ve güncellemek için gerekir.

Q4_K_M neden ilk seçimdir?

Ağırlıkları daha az bitle tutar, bu yüzden model karta sığar. Günlük sohbet, kod ve küçük RAG için kalite çoğu zaman yeterlidir. Q8 daha az kayıp bırakır, daha çok bellek ister. Q2 yalnızca başka türlü sığmayan modelde denenecek sondur.

Bir Sonraki Adım

İlk turda en büyük modeli kovalamayın. 8 GB’ta qwen3:4b, 16 GB’ta qwen3:8b ile başlayın. Context’i 8K civarında tutun. Aynı soruyu iki etikette sorun. Hangisi işinize yarıyorsa onu uygulamaya bağlayın.

Şirket belgesinden cevap istiyorsanız sıradaki iş fine-tuning değil, RAG’dir. Parça bulmayı Türkçe RAG yazısında kurmuştum. Birden fazla kullanıcı aynı modele düşecekse Ollama geliştirme makinesinde kalır; servis katmanı ayrı konuşulur.