Локальні LLM на Android через LiteRT | Tavern Studio

Тепер ви можете насолоджуватися рольовими іграми зі штучним інтелектом навіть без підключення до Інтернету на своєму смартфоні. Tavern Studio для Android використовує технологію LiteRT для оптимізованого запуску локальних LLM.

Як це працює?

LiteRT (раніше відомий як TFLite) дозволяє ефективно використовувати ресурси мобільних процесорів (CPU/NPU/GPU) для швидкої генерації тексту.

• Ви завантажуєте мобільну оптимізовану модель.
• Додаток завантажує її в пам'ять телефону.
• Ви спілкуєтеся зі ШІ офлайн.

Це забезпечує абсолютну конфіденційність ваших чатів, оскільки жодні дані не залишають ваш мобільний пристрій.