Importera GGUF-modeller i Tavern Studio
GGUF har blivit standarden för att köra AI lokalt. Med Tavern Studio kan du direkt importera GGUF-modeller och börja chatta via vår inbyggda llama.cpp (på Windows) eller LiteRT (på Android).
Du slipper ställa in komplicerade Python-miljöer eller backend-servrar.
Steg för import
- Navigera till fliken för lokala modeller i Tavern Studio.
- Tryck på Importera (Import).
- Välj din .gguf fil som du har laddat ner.
- Justera inställningar som kontextlängd (context size) om det behövs, och klicka på start!
Varför GGUF?
GGUF är effektivt och tillåter att man delar upp minnet mellan CPU och GPU för bästa prestanda på vanliga datorer.