Importare Modelli GGUF in Tavern Studio

Se disponi già di una libreria di file modello, Tavern Studio ti permette di integrarli facilmente nel tuo flusso di lavoro per il roleplay. Il formato standard utilizzato è il GGUF, e importare modelli GGUF è un'operazione veloce che ti sblocca l'accesso alla chat offline.

Grazie all'inferenza nativa tramite llama.cpp (Windows) e LiteRT (Android), puoi sfruttare al massimo le potenzialità del tuo dispositivo senza eseguire server esterni aggiuntivi.

Procedura di Importazione

Per aggiungere i tuoi modelli all'app:

1. Apri Tavern Studio e naviga nella gestione delle connessioni locali o nella libreria dei modelli.
2. Scegli l'opzione per importare un modello locale e seleziona il file .gguf che desideri utilizzare dal tuo file system.
3. L'app validerà il file e lo aggiungerà all'elenco dei modelli disponibili.
4. Nelle impostazioni di inferenza, potrai regolare parametri vitali come la dimensione della finestra di contesto (Context Size) e l'offload sulla GPU prima di avviare il motore.

Parametri e Hardware

Durante l'utilizzo, ricorda che la quantità di memoria VRAM o RAM richiesta dipende dalla dimensione della finestra di contesto che imposti e dal livello di quantizzazione del modello GGUF importato. Mantieni il contesto in base alle limitazioni del tuo hardware per evitare rallentamenti durante la chat multi-ramo con i tuoi personaggi IA.

FAQ

Qualsiasi file GGUF funziona?

Sì, a condizione che l'architettura sia supportata da llama.cpp e LiteRT e che il dispositivo abbia memoria sufficiente per caricare il file importato.

Il modello GGUF viene copiato o spostato?

In base alle preferenze o al sistema operativo, puoi solitamente far puntare l'app al file originale oppure copiarlo nella directory dedicata di Tavern Studio per una gestione centralizzata.