Yapay Zeka - AI

Ollama, vLLM ve SGLang: Hangisini Üretimde Çalıştırmalı?

Ürfet Demirtaş 4 dk okuma

Ollama, vLLM ve SGLang aynı açık modeli çalıştırabilir. Ayrım modelde değil, isteğin nasıl sıraya girdiğinde ve önbelleğin nasıl tutulduğundadır.

Üçü de "yerel model sunucusu" diye yan yana yazılır. Kurulum cümlesi benzerdir: modeli indir, bir porta aç, uygulamadan HTTP ile konuş. Trafik gelince davranış ayrılır. Tek kişilik bir deneme, yüz kullanıcılı bir API ve aynı sistem promptunu tekrar tekrar kuran bir ajan aynı sıraya girmez. Bu yazı, hangisini ne zaman açacağını bu ayrım üzerinden anlatır. PagedAttention'ın iç hesabı vLLM yazısında, modeli kendi makinede ayağa kaldırmak local LLM ve Ollama kurulumunda.

Ollama: tek makine

Ollama, geliştiricinin kendi bilgisayarında model çalıştırmak için kuruludur. İstekler sıraya girer. Varsayılan, bir modelde aynı anda tek üretimdir. OLLAMA_NUM_PARALLEL ile bunu yükseltebilirsiniz. Yükseltmek, onu çok kullanıcılı bir servis yapmaz. Bellek ve zamanlama hâlâ tek makineye göredir.

Klasik paket GGUF'dur, altta llama.cpp vardır. Apple Silicon'da Ollama, MLX üzerine kurulu bir yol da sunuyor. Bunu belirli bir sürüm numarasından itibaren varsayılan diye yazmıyorum. Resmi duyuru bu yolu önizleme olarak anlattı ve sürüm hızla değişiyor. Hangi motorun açık olduğunu kendi kurulumunuzdan bakın.

Uygulama tarafında OpenAI uyumlu uç uzun süredir durur. Claude Code gibi bir ajanı yerel modele bağlamak için ollama launch claude komutu da resmi anlatımda var. Yani "API formatı uymadı" engeli, Ollama'yı elemek için yeterli sebep değildir. Eleme sebebi eşzamanlı kullanıcı sayısıdır.

vLLM: çok kullanıcı, çoğu prompt birbirinden farklı

vLLM, aynı GPU üzerinde bekleyen istekleri tek tek bitirmez. Continuous batching, yeni isteği çalışan grubun bir sonraki adımına alır. Biri uzun cevap üretirken kısa bir soru onun arkasında dakikalarca beklemez.

KV önbelleği PagedAttention ile sayfalara bölünür. Boşluk, uzun bir sohbetin ayırdığı tek blokta kilitli kalmaz. Güncel sürümde prefix caching de bu sayfaların üstüne oturur: isteğin başı bir önceki istekle aynıysa o kısım yeniden hesaplanmaz. Model ve GPU tarafında seçenek kümesi geniştir. Üretimde "gelen sorular birbirine benzemez, kullanıcı sayısı artar" diyorsanız başlangıç burasıdır.

SGLang: ajan, RAG ve tekrar eden bağlam

SGLang'in öne çıkan yeri, aynı uzun başlangıcı paylaşan isteklerdir. Ajan döngüsü, araç tanımları ve RAG'deki sabit sistem promptu bu sınıfa girer. RadixAttention, paylaşılan önekleri bir radix ağacında tutar. İkinci istek, ağaçta duran düğümden devam eder. Birden fazla worker varsa router, isteği o öneki zaten belleğinde tutan worker'a yollamaya çalışır. Yanlış worker'a düşen istek, önbelleği baştan doldurur.

JSON şeması ve regex ile kısıtlı çıktı da bu çalışma biçiminin parçasıdır. "Modelden serbest paragraf değil, şu alanları olan bir nesne istiyorum" dendiğinde kısıt, üretim sırasında uygulanır. Ayrı bir düzeltme turuna bırakılmaz.

Hangisini açmalı

  • Dizüstünde deneme, tek geliştirici, Mac veya Windows: Ollama.
  • Aynı modeli çok kullanıcıya açacaksınız ve sorular birbirinden farklı: vLLM.
  • Ajan, araç çağrısı, uzun sohbet veya her istekte aynı sistem promptu: SGLang.

İkisi birden de kurulur. Ollama geliştirme makinesinde kalır. Servis GPU'sunda vLLM veya SGLang durur. Uygulama ikisine de HTTP ile gider. .NET tarafındaki fark, taban adres ve model adıdır. İstek şekli değişmez.

Önek önbelleği ancak sıra doğruysa tutar

Üçünde de işe yarayan kural tektir. Her çağrıda değişmeyen metin başta, değişen metin sonda olsun. Sistem promptu ve araç tanımları sabitse, onları her istekte aynı bayt dizisiyle başa koyun. Kullanıcı cümlesi, tarih ve bulunan belge parçaları sona gelsin.

RAG'de bu sıra sık bozulur. Parçalar her soruda değişir. Onları promptun başına yazarsanız, sabit sistem cümlesi önek olmaktan çıkar ve önbellek her seferinde kaçar. Doğru dizi şudur: sabit sistem promptu, sabit araç tanımları, bu soruya ait parçalar, en sonda kullanıcı sorusu. Parça bulmayı Türkçe RAG yazısında kurmuştum. Oradaki promptu bu sıraya göre dizin. Pipeline büyürse aynı kural Haystack tarafında da geçerlidir. Bileşen değişir, mesaj sırası değişmez.

var messages = new object[]
{
    new { role = "system", content = systemPrompt },
    new { role = "system", content = toolDefinitions },
    new { role = "system", content = retrievedChunks },
    new { role = "user", content = question }
};

systemPrompt ve toolDefinitions istekten isteğe karakter karakter aynı kalmalıdır. Araya saat, kullanıcı adı veya parça koyarsanız önek kırılır. Saat kullanıcı mesajındadır.

Ne zaman taşımalı

Ollama'da tek kullanıcı rahatken, ikinci eşzamanlı istek kuyruğa düşüp süreyi şişiriyorsa servis katmanına geçme vaktidir. Sorular kısa ve birbirinden farklıysa vLLM. Aynı sözleşme promptu, aynı araç listesi ve uzun parça listesi her çağrıda tekrarlanıyorsa SGLang. Modeli büyütmek bu kuyruğu çözmez. Sıra ve önbellek çözmeden kart eklemek, aynı beklemeyi daha pahalı bir kartta sürdürmektir.

Tüm yazılar →