Імпорт GGUF моделей у Tavern Studio

Формат GGUF є стандартом де-факто для локальних мовних моделей на Windows та інших настільних ОС. Tavern Studio має вбудовану підтримку llama.cpp, що дозволяє легко запускати такі моделі.

Кроки для підключення

• Відкрийте розділ підключень (Connections) у Tavern Studio.
• Виберіть "Local LLM" як тип підключення.
• Натисніть "Огляд" (Browse) та виберіть завантажений файл .gguf на вашому комп'ютері.
• Налаштуйте кількість шарів для завантаження у відеокарту (GPU Offload) для максимальної продуктивності.
• Натисніть "Завантажити модель".

Після успішного завантаження ви можете одразу починати спілкування зі своїми персонажами.