Як завантажити локальні моделі (GGUF) | Tavern Studio

Використання локальних моделей дозволяє вам мати повністю приватний ШІ-чат без цензури. Tavern Studio підтримує формат GGUF, який оптимізовано для запуску на звичайних комп'ютерах.

Де знайти моделі GGUF?

Найкраще місце для пошуку моделей — це платформа Hugging Face. Шукайте моделі з тегом "GGUF" від відомих авторів (наприклад, TheBloke, Bartowski).

• Знайдіть модель, яка підходить для вашої оперативної пам'яті (RAM/VRAM).
• Завантажте файл .gguf на свій пристрій.
• У Tavern Studio перейдіть до налаштувань локальної моделі та вкажіть шлях до завантаженого файлу.

Який розмір моделі обрати?

Для 8 ГБ оперативної пам'яті найкраще підійдуть моделі 7B-8B. Для 16 ГБ можна спробувати моделі 11B-14B.