2024 itibarıyla Llama, Mistral, Gemma ve Qwen gibi büyük dil modellerini kendi bilgisayarınızda çalıştırmak mümkün hale geldi. Burada "mümkün" derken birkaç satır komutla, internet bağlantısı olmadan, hiçbir API anahtarı kullanmadan bir yapay zekayı kendi GPU'nuzda ayağa kaldırmaktan söz ediyoruz. Ama bu tablonun bir bedeli var: yeterli VRAM olmadan model ya hiç yüklenmez ya da çok yavaş çalışır.
Bu yazıda VRAM neden bu kadar belirleyici, kuantizasyon ne işe yarar ve hangi modeli hangi donanımla gerçekçi biçimde çalıştırabilirsiniz sorularını somut sayılarla yanıtlıyoruz.
VRAM neden bu kadar kritik?
Büyük dil modelleri çalışırken ağırlık matrislerini belleğe yükler. Bu yükleme sistem RAM'inde değil doğrudan GPU belleğinde, yani VRAM'de gerçekleşir. Bunun nedeni GPU'nun paralel işlem gücü; model çıkarımı (inference) işlemlerinin büyük çoğunluğu CPU yerine GPU matris çarpımlarıyla yapılır. Ağırlıklar VRAM'de değilse ya CPU'ya offload edilir ki bu dramatik biçimde yavaş olur, ya da model hiç başlamaz.
Peki kaç GB gerekir? Cevap iki değişkene bağlıdır: modelin kaç milyar parametresi olduğu ve hangi kuantizasyon formatında yüklediğiniz. Bu iki sayıyı bilirseniz gereken VRAM'i yaklaşık hesaplayabilirsiniz.
Kuantizasyon nedir ve VRAM'e etkisi ne kadar?
Bir sinir ağı ağırlığı orijinal olarak 32-bit veya 16-bit kayan noktalı sayı olarak saklanır. Kuantizasyon bu sayıları daha az bit ile ifade ederek dosya boyutunu ve bellek ihtiyacını düşürür. Yaygın formatlar:
16-bit (FP16/BF16): Tam yük formatı. Her parametre 2 byte yer kaplar. 7 milyar parametreli bir model için yalnızca ağırlıklar yaklaşık 14 GB VRAM kullanır; runtime overhead eklendiğinde 16-17 GB'a ulaşır. RTX 4090 sınırındadır.
8-bit (Q8): Her parametre 1 byte. VRAM yarıya düşer, kalite kaybı düşük düzeyde kalır. 7B model için yaklaşık 7-8 GB VRAM.
4-bit (Q4): Her parametre yarım byte (0.5 byte). VRAM çeyreğe iner. 7B model için yaklaşık 4-5 GB VRAM. Kalite kaybı vardır ancak çoğu günlük görev için fark edilmez düzeydedir. Evde kullanım için en yaygın tercih budur.
Kuantizasyon seviyesi düştükçe VRAM'den tasarruf edilir; buna karşılık anlama, çıkarım kalitesi ve özellikle matematiksel görevlerde hafif bir gerileme olabilir. Fark, sıradan sohbet ve metin üretimi görevlerinde genellikle ihmal edilebilir düzeydedir.
Popüler modeller için gerçek VRAM gereksinimleri
Aşağıdaki değerler, 4-bit Q4 kuantizasyonuyla ölçülmüş ya da bilinen referans değerlerden hesaplanmış yaklaşık rakamlardır:
1B–4B modeller (Llama 3.2 1B, 3B / Phi-4 Mini / Gemma 3 4B): 1 ile 3 GB VRAM yeterlidir. Dizüstü bilgisayardaki orta sınıf bir GPU veya hatta CPU ile de çalışır. Hız beklentisi düşük tutulmalıdır.
7B–8B modeller (Mistral 7B, Llama 3.1 8B, Qwen 2.5 7B): 4-bit Q4 ile 4.5-5.5 GB VRAM. RTX 3060 (12 GB), RTX 4060, RX 6700 XT bu aralıkla rahat çalışır. Günlük kullanım için en dengeli nokta burası. Bir sohbet, özetleme veya kod yazma görevinde akıcı sonuç alırsınız.
12B–14B modeller (Gemma 3 12B, Phi-4 14B, Qwen 2.5 14B): 4-bit Q4 ile 7-9 GB VRAM. 12 GB VRAM kartlar (RTX 3060, 4070) bu aralıkla çalışır. Kalite 8B'ye göre gözle görülür biçimde artar.
24B–27B modeller (Mistral Small 24B, Gemma 3 27B): 4-bit Q4 ile 14-16 GB VRAM. RTX 4080 / RTX 4090 veya A5000 gerektir. Küçük bir iş istasyonu kurulumuna başlanmıştır.
70B modeller (Llama 3.3 70B, Qwen 2.5 72B): 4-bit Q4 ile yaklaşık 40 GB VRAM. RTX 4090 (24 GB) tek başına bu modeli yükleyemez. İki adet RTX 4090 veya A6000 Ada gereklidir. CPU'ya kısmi offload ile tek GPU'da çalıştırılabilir ancak hız çok düşük olacaktır.
"8 GB VRAM yeter mi?" sorusuna dürüst cevap
Sık sorulan soru bu: elinde RTX 3060 8 GB veya RTX 4060 olan biri ne çalıştırabilir?
Kısa cevap: 7B model, 4-bit Q4 ile rahat çalışır. Bu aralıkta 4.5-5 GB VRAM kullanılır, 3 GB de Windows/Linux sistem belleği ve GPU sürücüsü için kalır. Yükleme süresi 10-30 saniye, üretim hızı modern bir RTX 3060'ta saniyede 20-40 token arası olur. Bir satır metin, bir e-posta taslağı veya kısa bir kod bloğu için bu hız akıcı hissettirdirir.
8-bit Q8 ile aynı 7B model bu GPU'ya sığmaz: 8-9 GB VRAM gerektirir ve işletim sistemi overhead ile 8 GB kart dolup taşar. FP16 ile çalıştırmanız ise imkânsızdır.
Bu nedenle 8 GB VRAM'a cevap şudur: yeterli, ama yalnızca 7B altı modellerde ve 4-bit kuantizasyonla. 12B veya üstü modeller için 12 GB ve üzeri bir kart düşünmek gerekir. Evde genel amaçlı bir LLM kurulumu için RTX 4060 Ti 16 GB veya RTX 3060 12 GB iyi bir başlangıç noktasıdır; fiyat/performans dengesi açısından değerlendirildiğinde bu iki kart geniş bir model yelpazesini kapsar.
VRAM hesabını saniyeler içinde yapmak için
Hangi modeli çalıştırabileceğinizi görmek için iki araca bakabilirsiniz. Yapay Zeka Modeli VRAM Hesaplama aracında hazır listeden modeli seçip kuantizasyonu belirleyerek saniyeler içinde VRAM ve RAM tahminine ulaşırsınız. Listelenmemiş ya da henüz piyasaya sürülmemiş bir modeli değerlendirmek istiyorsanız LLM Parametre VRAM Hesaplama aracına parametre sayısını doğrudan girebilirsiniz.
Her iki araç da aynı formülü kullanır: model ağırlığı GB cinsinden hesaplanır, üzerine KV cache ve runtime overhead eklenir, önerilen sistem RAM miktarı da ayrıca gösterilir. Hesap yaklaşıktır; gerçek değer kullanılan çalışma ortamına ve bağlam boyutuna göre değişebilir. Ama 1-2 GB aralığında tutarlı bir tahmin üretir ve donanım kararı için yeterli bir referans sunar.
Yorumlar
Yorum Yap