Menjalankan LLM Lokal di Android dengan LiteRT

Membawa model bahasa besar (Large Language Models) ke perangkat mobile dulunya adalah fiksi ilmiah. Sekarang, Anda dapat melakukannya di Android Anda.

Tavern Studio Android dibangun dengan mengintegrasikan LiteRT, yang dioptimalkan khusus untuk arsitektur mobile (ARM).

Kenapa LiteRT?

• Efisiensi Memori: Dirancang untuk menangani batasan RAM yang ketat pada ponsel pintar.
• Kecepatan: Menggunakan akselerasi hardware yang tersedia di chipset modern.
• Skenario Offline: Sempurna untuk sesi roleplay saat Anda sedang bepergian tanpa sinyal data yang stabil.