Руководство по локальной модели GGUF
Локальные модели позволяют запускать чат с искусственным интеллектом без отправки запросов поставщику облачных моделей. Tavern Studio поддерживает локальные рабочие процессы GGUF для пользователей с подходящим оборудованием.
Для кого это
- Пользователи с соответствующими процессорами, графическими процессорами или выделенными локальными настройками модели.
- Пользователи, предпочитающие ролевые игры в автономном режиме или локально.
- Пользователи устраняют ошибки нехватки памяти или медленную генерацию.
Чему вы научитесь
- Что такое ГГУФ.
- Чем локальные модели отличаются от облачных API.
- Как импортировать или загрузить локальную модель.
- Как уровни графического процессора и связанные с ними настройки влияют на производительность.
- Как устранить сбои.
GGUF и ожидания от оборудования
GGUF — это общий формат для локального вывода LLM. Квантованные модели снижают требования к памяти, но более крупным моделям по-прежнему требуется достаточно оперативной или видеопамяти.
[!NOTE]> Скорость локальной модели сильно зависит от оборудования, размера модели, квантования и конфигурации серверной части.
Шаг 1. Загрузите или импортируйте модель GGUF
Используйте область управления моделью, чтобы загрузить или импортировать файл.gguf. Выберите размер модели, с которым может работать ваше оборудование.
Шаг 2. Запустите локальную модель
Откройте настройки локальной модели и настройте:
- Тип бэкэнда.
- Размер контекста.
- Слои графического процессора.
- Потоки процессора.
- Формат чата при необходимости.
Устранение неполадок
Почему приложение аварийно завершает работу или показывает сообщение «Недостаточно памяти»?
Понизьте уровни графического процессора, используйте меньшее квантование или выберите меньшую модель.
Почему генерация очень медленная?
Попробуйте модель меньшего размера, настройте потоки, используйте ускорение графического процессора, если оно доступно, или уменьшите размер контекста.
Почему не удается выполнить импорт?
Возможно, файл неполный, поврежден или не соответствует модели GGUF.
Следующие шаги
- Обзор интерфейса: понимание того, где появляются настройки локальной модели.
- Настройте свой первый API: используйте облачные API, когда локального оборудования недостаточно.
- FAQ: просмотрите дополнительные вопросы по устранению неполадок.