Android için Yerel LLM: LiteRT Teknolojisi

Tavern Studio'nun Android sürümü, akıllı telefonların donanım kısıtlamaları göz önünde bulundurularak özel olarak optimize edilmiştir. Masaüstü sürümünde kullanılan ağır sistemler yerine, mobil cihazlar için Google tarafından geliştirilen LiteRT (eski adıyla TensorFlow Lite) altyapısını kullanır.

Mobil Cihazınızda Yapay Zeka

Telefonunuzun NPU (Neural Processing Unit) veya yerleşik mobil GPU'sunu kullanan LiteRT mimarisi, yüksek hızlı çıkarım (inference) sağlarken pil tüketimini minimumda tutar.

• Düşük Gecikme: Buluta bağlanmayı beklemeden, telefonunuzun işlemcisi kelimeleri doğrudan ekranda oluşturur.
• Kompakt Modeller: GGUF yerine mobil için özel olarak dönüştürülmüş ve sıkıştırılmış TFLite modellerini kullanır (örn. Gemma-2B veya Llama-3-8B'nin yüksek oranda sıkıştırılmış versiyonları).

Sık Sorulan Sorular

Telefonum yerel model çalıştırabilir mi?

Modern bir işlemciye (Snapdragon 8 Gen 1 ve üzeri vb.) ve en az 8GB RAM'e sahip orta/üst segment çoğu Android telefon, küçük boyutlu modelleri (2B-8B parametre) makul bir hızda çalıştırabilir.

Mobil sürümde API kullanabilir miyim?

Evet. Telefonunuzun gücü yerel model çalıştırmaya yetmiyorsa, Android uygulamasından OpenAI, Claude veya OpenRouter gibi API sağlayıcılarına bağlanarak çevrimiçi (online) olarak yüksek kaliteli sohbetler gerçekleştirebilirsiniz.