Lokale AI Modellen Downloaden (GGUF) | Gids

Om de lokale LLM-functies van Tavern Studio te gebruiken, moet je eerst lokale modellen downloaden. De app ondersteunt het populaire .gguf formaat. Platformen zoals Hugging Face zijn de beste bron om modellen te vinden die zijn geoptimaliseerd voor roleplay en chat.

Zoek naar "GGUF" in combinatie met namen zoals Llama 3 of Mistral, en kies een kwantisatie (bijv. Q4 of Q5) die past bij het geheugen van je apparaat.

Stappen voor het Downloaden

1. Vind een Model: Ga naar Hugging Face en zoek naar GGUF modellen (bijv. van TheBloke of andere bekende makers).
2. Kies de Juiste Grootte: Let op je RAM/VRAM. Een 7B of 8B Q4 model heeft ongeveer 5-6 GB werkgeheugen nodig.
3. Download: Download het .gguf bestand naar je apparaat.
4. Selecteer in de App: Ga naar de model instellingen in Tavern Studio en wijs het gedownloade bestand aan.

FAQ: Welk model moet ik kiezen voor roleplay?

Modellen die getraind zijn op instructies of specifiek op "RP" (Roleplay) presteren het beste. Begin met een model rond de 7B of 8B parameters als je een gemiddelde pc of smartphone hebt.