Yerel AI Modelleri Nasıl İndirilir ve Kurulur?

Tavern Studio'nun çevrimdışı ve gizlilik odaklı çalışabilmesi için cihazınızda çalışacak bir yapay zeka modeline (Local LLM) ihtiyacınız vardır. Bu rehber, doğru modeli nasıl bulup indireceğinizi açıklamaktadır.

Windows'ta Llama.cpp altyapısını kullandığımız için GGUF formatındaki modellere ihtiyacınız olacaktır.

Model İndirme Adımları

1. HuggingFace'i Ziyaret Edin

İnternetteki en büyük model kütüphanesi olan HuggingFace.co adresine gidin. Arama çubuğuna kullanmak istediğiniz modelin adını yazın (Örneğin: Llama-3-8B-Instruct).

2. GGUF Sürümünü Bulun

Orijinal modeller Tavern Studio'da doğrudan çalışmaz. Model adının sonuna "GGUF" ekleyerek arama yapın (Örnek: Llama-3-8B-Instruct-GGUF). Çoğu popüler model "TheBloke" veya "Bartowski" gibi topluluk üyeleri tarafından GGUF formatına dönüştürülmüştür.

3. Doğru Quantization (Sıkıştırma) Boyutunu Seçin

Modelin "Files and versions" sekmesine girdiğinizde birçok .gguf dosyası göreceksiniz. Bunlar modelin ne kadar sıkıştırıldığını gösterir.

• Q4_K_M veya Q5_K_M: Genellikle kalite ve hız açısından en iyi dengedir.
• Sisteminizin RAM veya VRAM kapasitesine göre uygun dosya boyutunu seçip indirin.

4. Modeli Tavern Studio'ya Ekleyin

Uygulamada Yerel Modeller ayarlarına gidin. İndirdiğiniz .gguf dosyasını seçerek uygulamaya yükleyin ve çalıştırmak için başlat düğmesine basın.

Sık Sorulan Sorular

Hangi modeli seçmeliyim?

8B parametreli modeller (örneğin Llama 3) çoğu bilgisayarda hızlı çalışır ve rol yapma (roleplay) için harikadır. Eğer 16GB veya üzeri RAM/VRAM'iniz varsa 7B-14B arası modelleri rahatlıkla deneyebilirsiniz.