Tavern Studio İndirme / test etme
Tavern Studio Docs · 09

Yerel GGUF Model Kılavuzu

Yerel modeller, bir bulut modeli sağlayıcısına istem göndermeden AI sohbeti çalıştırmanıza olanak tanır. Tavern Studio, uygun donanıma sahip kullanıcılar için yerel GGUF iş akışlarını destekler.

Bu kimin için

  • Yetenekli CPU'lara, GPU'lara veya özel yerel model kurulumlarına sahip kullanıcılar.
  • Çevrimdışı veya yerel öncelikli rol oynamayı tercih eden kullanıcılar.
  • Kullanıcılar yetersiz bellek hatalarını veya yavaş oluşturma sorunlarını giderir.

Ne öğreneceksiniz

  • GGUF nedir?
  • Yerel modellerin bulut API'lerinden farkı.
  • Yerel bir model nasıl içe aktarılır veya indirilir.
  • GPU Katmanları ve ilgili ayarların performansı nasıl etkilediği.
  • Çökme sorunları nasıl giderilir.

GGUF ve donanım beklentileri

GGUF, yerel LLM çıkarımı için yaygın bir formattır. Nicelenmiş modeller bellek gereksinimlerini azaltır ancak daha büyük modeller yine de yeterli RAM veya VRAM'e ihtiyaç duyar.

[!NOTE]> Yerel model hızı büyük ölçüde donanıma, model boyutuna, nicelemeye ve arka uç yapılandırmasına bağlıdır.

Adım 1: Bir GGUF modelini indirin veya içe aktarın

Bir.ggufdosyasını indirmek veya içe aktarmak için model yönetimi alanını kullanın. Donanımınızın kaldırabileceği bir model boyutu seçin.

Adım 2: Yerel modeli başlatın

Yerel model ayarlarını açın ve yapılandırın:

  • Arka uç türü.
  • Bağlam boyutu.
  • GPU Katmanları.
  • CPU konuları.
  • Gerektiğinde sohbet formatı.

Sorun Giderme

Uygulama neden çöküyor veya "Bellek Yetersiz" mesajı gösteriyor?

GPU Katmanlarını düşürün, daha küçük bir niceleme kullanın veya daha küçük bir model seçin.

Üretim neden çok yavaş?

Daha küçük bir model deneyin, iş parçacıklarını ayarlayın, varsa GPU hızlandırmayı kullanın veya bağlam boyutunu azaltın.

İçe aktarma neden başarısız oluyor?

Dosya eksik, bozuk olabilir veya geçerli bir GGUF modeli olmayabilir.

Sonraki adımlar