Локальное LLM приложение для Android с LiteRT в Tavern Studio
Локальное LLM приложение на Android должно быть честным в отношении ограничений. AI на устройстве полезен для конфиденциальности и доступности, но производительность телефона сильно зависит от размера модели, оперативной памяти устройства, поддержки аппаратного ускорения и ограничений батареи.
Мобильное направление Tavern Studio для Android использует локальный инференс на базе LiteRT, сохраняя те же рабочие процессы с карточками персонажей, лорбуками (книгами мира), пресетами и чатами, которые доступны на ПК.
Для кого это руководство
- Пользователи Android, которым нужен приватный AI чат прямо на устройстве.
- Пользователи, которые хотят импортировать карточки персонажей с мобильного устройства.
- Авторы, продолжающие вести чаты вдали от компьютера.
- Те, кто хочет сравнить локальные модели с облачными API на мобильных устройствах.
Основное содержание
Google позиционирует LiteRT как фреймворк для высокопроизводительного AI на устройствах. Для Tavern Studio практическая ценность проста: Android-версия может иметь локальный маршрут модели вместо того, чтобы оставаться исключительно клиентом для удаленных API.
Это не означает, что любая модель для ПК будет хорошо работать на любом телефоне. Выбирайте модели меньшего размера, сохраняйте умеренный размер контекста и будьте готовы к тому, что облачные API останутся полезными для более ресурсоемких задач.
Как Tavern Studio обрабатывает это
Tavern Studio сохраняет мобильные рабочие процессы близкими к ПК: локальные данные, карточки персонажей, пресеты, лорбуки и чаты организованы в одном приложении. Мобильный импорт может использовать системное меню «Поделиться» там, где это поддерживается.
Локальный маршрут настраивается в параметрах модели, а не в отдельном продукте.
Шаги по настройке
- Установить Tavern Studio на Android.
- Импортировать или выбрать поддерживаемый локальный маршрут модели.
- Выбрать легковесный пресет.
- Открыть или импортировать карточку персонажа.
- Начать с коротких ответов и скромного контекста.
- Увеличивать параметры только в том случае, если устройство работает стабильно и отзывчиво.
- Использовать облачные API, когда для задачи требуется более крупная модель.
FAQ
Поддерживает ли Tavern Studio локальные LLM на Android?
Да. Поддержка локальных моделей на Android является частью развития продукта через инференс на базе LiteRT непосредственно на устройстве.
Будут ли работать все модели GGUF на Android?
Нет. Ограничения мобильного оборудования и формата среды выполнения имеют значение. Используйте модели, подходящие для конкретного устройства и среды выполнения.
Является ли локальный чат на Android приватным?
Локальный инференс позволяет обрабатывать запросы модели прямо на устройстве, однако импортируемые данные, резервные копии и любые облачные маршруты API по-прежнему зависят от ваших настроек.
Может ли Android использовать карточки персонажей?
Да. Tavern Studio полностью поддерживает работу с карточками персонажей на Android.
Полезна ли поддержка облачных API на Android?
Да. Облачные модели полезны, когда производительности локального устройства недостаточно.
Следующий шаг
- Ознакомиться с руководством Приватный AI чат-клиент.
- Сравнить локальные модели для ПК в руководстве Запуск локальных LLM на Windows.
- Управлять адаптированными для мобильных устройств карточками в Менеджер карточек персонажей.