Ejecutar LLM locales en Windows con llama.cpp en Tavern Studio

En Windows, Tavern Studio trata la inferencia de LLM local como una capacidad nativa. Utiliza soporte de entorno de ejecución al estilo llama.cpp para modelos GGUF, de modo que un modelo local pueda formar parte del mismo espacio de trabajo que las tarjetas de personaje, libros de lore (Lorebook), presets (preajustes) y chats.

llama.cpp se utiliza ampliamente para la inferencia local porque se enfoca en ejecutar grandes modelos de lenguaje con una configuración mínima en múltiples plataformas de hardware. Tavern Studio se basa en ese ecosistema sin obligarte a gestionar un espacio de trabajo de chat independiente.

A quién está dirigido

• Usuarios de Windows que desean un chat de IA con capacidad sin conexión (offline).
• Usuarios de modelos GGUF.
• Usuarios de SillyTavern que buscan una aplicación nativa en lugar de una configuración de navegador/servidor, sirviendo como una excelente alternativa a SillyTavern.
• Escritores que desean un chat privado con personajes sin necesidad de enviar cada solicitud a una API en la nube.

Contenido principal

Un flujo de trabajo de LLM local en Windows consta de tres partes: un archivo de modelo compatible, un entorno de ejecución (runtime) y una interfaz de chat que sepa cómo ensamblar un contexto útil. GGUF es el formato común para modelos locales compatibles con llama.cpp.

El hardware es fundamental. Los modelos más pequeños y cuantizados son más fáciles de ejecutar. Los modelos más grandes requieren más memoria y pueden ser más lentos según la CPU, la GPU, el backend y la longitud del contexto.

Cómo lo maneja Tavern Studio

Tavern Studio conecta la ruta del modelo local al mismo sistema de prompts que utilizan las API en la nube. Esto significa que los datos del personaje (tarjeta de personaje), World Info (libro de lore), presets y el historial de chat siguen siendo plenamente efectivos. El modelo local no es un modo de juego separado.

Las compilaciones de Windows pueden incluir componentes del entorno de ejecución de LLM local, con el empaquetado del backend controlado por la configuración de la versión de lanzamiento.

Pasos para la operación

1. Elige un modelo GGUF que se adapte a tu hardware.
2. Importa o descarga el modelo en Tavern Studio.
3. Abre la configuración de modelos o API y selecciona la ruta del modelo local.
4. Elige un preset o preajuste con una longitud de contexto y una longitud de respuesta realistas.
5. Inicia un chat de prueba corto.
6. Si la generación es lenta, reduce el tamaño del modelo, el nivel de cuantización, la longitud del contexto o la longitud de la respuesta.
7. Utiliza las API en la nube solo cuando necesites un modelo remoto de mayor tamaño.

Preguntas frecuentes

¿Tavern Studio ejecuta LLMs locales en Windows?

Sí. La inferencia local en Windows es una capacidad central de Tavern Studio, funcionando como una potente app de LLM local y cliente de chat IA privado.

¿Qué formato de modelo debo utilizar?

GGUF es el formato más práctico para el flujo de trabajo de modelos locales con llama.cpp.

¿Necesito LM Studio u Ollama?

No para la ruta nativa de modelos locales de Tavern Studio. No obstante, puedes seguir utilizando endpoints externos (como una API compatible con OpenAI) si así lo prefieres.

¿Todos los modelos se ejecutarán rápido?

No. La velocidad depende de la GPU/CPU, el tamaño del modelo, la cuantización, la aceleración de hardware y la longitud del contexto.

¿Pueden los modelos locales usar tarjetas de personaje y libros de lore?

Sí. Se aplica el mismo flujo de trabajo de ensamblaje de prompts de Tavern Studio, por lo que puedes usar tarjetas de personaje, libros de lore (Lorebook), presets y funciones como swipe, regenerar o chat con múltiples ramas.

Siguiente paso

• Agrega un modelo con la guía de Importar modelos GGUF.
• Compara con la App de LLM local nativa.
• Configura una alternativa en la nube en el Cliente de chat con API en la nube.