Configurazione API OpenAI-compatibili in Tavern Studio

Per chiunque non voglia utilizzare il motore di inferenza GGUF nativo integrato, ma preferisca far girare server separati o sfruttare particolari servizi di terze parti, Tavern Studio offre un'ampia configurazione API OpenAI-compatibile. Questa opzione permette all'applicazione di connettersi praticamente a qualsiasi fornitore che supporti l'ecosistema standard di endpoint AI.

Provider Supportati

Molteplici servizi e strumenti si basano sullo standard di OpenAI per la comunicazione. Con questa impostazione, puoi connettere Tavern Studio a:

• Server Locali Esterni: Strumenti come Ollama, LM Studio o Oobabooga che fungono da server sulla porta locale (es. localhost:11434 o 1234).
• Servizi Proxy/Aggregatori Cloud: Come OpenRouter o API di terze parti per aggirare le restrizioni di geolocalizzazione o gestire pagamenti unificati per molteplici LLM.

Come Configurare le Connessioni Personalizzate

1. Nelle impostazioni principali di Tavern Studio, naviga alla sezione Connessioni o API.
2. Seleziona l'opzione "OpenAI Compatible" o Endpoint Personalizzato.
3. Inserisci la stringa della Base URL (ad esempio http://localhost:1234/v1 se usi LM Studio).
4. Inserisci la Chiave API se il server la richiede (per server in locale, solitamente basta inserire dummy o qualsiasi testo).
5. Definisci o seleziona il modello di testo che intendi interrogare e salva la configurazione.

FAQ

La chat multi-ramo funziona con le API compatibili?

Certamente. Il motore interno di Tavern Studio che gestisce la logica dei lorebook, delle risposte alternative (swipe) e dell'albero della chat multi-ramo interroga le API in modo coerente, a prescindere se si utilizzi un modello locale o un'endpoint OpenAI-compatibile.