Configuración de API compatible con OpenAI en Tavern Studio
La configuración de una API compatible con OpenAI suele requerir tres elementos: una URL base, una clave o token de API (si es necesario) y un ID de modelo. Tavern Studio mantiene esta configuración del proveedor separada de las tarjetas de personaje y de los presets (preajustes), para que puedas cambiar de ruta de modelo sin tener que reescribir tus personajes.
Muchos proveedores y servidores locales exponen APIs bajo el estilo de /chat/completions de OpenAI. Algunos no lo hacen, por lo que siempre debes verificar la documentación de tu proveedor.
A quién está dirigido
- Usuarios que conectan servicios en la nube compatibles con OpenAI.
- Desarrolladores que utilizan servidores de modelos locales.
- Personas con pasarelas (gateways) personalizadas o proxies inversos.
- Usuarios de SillyTavern que migran sus configuraciones de API, buscando a Tavern Studio como una excelente alternativa a SillyTavern.
Contenido principal
Un endpoint compatible con OpenAI generalmente utiliza autenticación mediante token de portador (bearer token) y un cuerpo de completado de chat con model (modelo) y messages (mensajes). Los servidores locales pueden omitir las claves de API. Las pasarelas personalizadas pueden agregar sus propios encabezados, IDs de cuenta o rutas específicas.
No almacenes los detalles del proveedor dentro de las tarjetas de personaje. Mantén los personajes, los presets y las rutas de los modelos de forma independiente.
Cómo lo maneja Tavern Studio
Tavern Studio admite la configuración de API compatible con OpenAI y puede mapear los servicios más comunes durante la migración de SillyTavern. Sin embargo, los endpoints personalizados, los servicios locales, los proxies inversos, Azure OpenAI, Cloudflare Workers AI, las URL base faltantes y la ausencia de modelos predeterminados pueden requerir una configuración manual.
El ensamblador de prompts puede preparar arreglos de mensajes estructurados para rutas al estilo de OpenAI, optimizando la interacción con el libro de lore o Lorebook asociado.
Pasos para la operación
- Abre la configuración de conexión de API o de modelo.
- Elige una ruta compatible con OpenAI.
- Introduce la URL base del modelo.
- Introduce la clave de API si el endpoint la requiere.
- Introduce o selecciona el ID del modelo.
- Guarda la conexión.
- Envía un mensaje de prueba corto.
- Vincula la ruta al chat o al flujo de trabajo del preset que desees utilizar.
Preguntas frecuentes
¿Qué es una API compatible con OpenAI?
Es un endpoint que sigue los patrones de solicitud y respuesta del estilo de OpenAI, incluyendo comúnmente la ruta /chat/completions.
¿Puedo usar un servidor local?
Sí, siempre que el servidor exponga una API compatible (por ejemplo, para ejecutar un modelo GGUF en una app de LLM local) y la URL base junto con el ID del modelo sean correctos.
¿Evita Tavern Studio las claves de API del proveedor?
No. Debes utilizar credenciales válidas provistas por el proveedor o por tu propio servicio local.
¿Por qué falla mi endpoint?
Las causas comunes incluyen una URL base incorrecta, la falta de /v1, un ID de modelo erróneo, una clave inválida, problemas de proxy o diferencias específicas de la API del proveedor.
¿Puede un mismo personaje usar múltiples endpoints?
Sí. El mismo personaje (basado en su tarjeta de personaje) se puede probar con diferentes rutas de API y presets para comparar el rendimiento de las respuestas, aprovechando funciones como swipe para deslizar respuestas o la opción de regenerar mensajes.
Siguiente paso
- Compara el enrutamiento en la nube en el Cliente de chat con API en la nube.
- Utiliza alternativas locales en Ejecutar LLM locales en Windows.
- Gestiona el comportamiento de generación en el Gestor de presets y prompts.