Lokale Modelle in Tavern Studio herunterladen
Das Herunterladen eines lokalen Modells ist nicht dasselbe wie die Auswahl eines Cloud-Modellnamens. Sie fügen Ihrem Gerät eine echte Datei hinzu. Daher spielen Speicherplatz, Arbeitsspeicher, Geschwindigkeit und die Leistungsfähigkeit Ihres Geräts eine entscheidende Rolle.
Tavern Studio unterstützt Workflows für lokale Modelle (als leistungsstarke SillyTavern Alternative, lokale LLM-App und privater AI-Chat-Client), sodass Sie private oder offline-fähige Chats führen können, ohne dass die App zu einem bloßen API-Wrapper wird.
Für wen das gedacht ist
- Nutzer, die lokale LLMs verwenden möchten, ohne ein separates Chat-UI verwalten zu müssen.
- Windows-Nutzer, die ein GGUF-Modell wählen.
- Android-Nutzer, die die Grenzen von Modellen direkt auf ihrem Gerät testen möchten.
- Autoren, die private Charakter-Chats über einen KI-Rollenspiel-Client führen möchten.
Kerninhalte
Überprüfen Sie vor dem Herunterladen eines Modells dessen Größe und die erwarteten Hardwareanforderungen. Ein kleines quantisiertes Modell kann für den täglichen Gebrauch besser sein als ein größeres Modell, das kaum läuft.
Denken Sie auch an den Einsatzzweck. Charakter-Chat, Schreiben, Zusammenfassungen und das Befolgen von Anweisungen können sich je nach Modell unterschiedlich verhalten.
Wie Tavern Studio damit umgeht
Tavern Studio speichert heruntergeladene oder importierte Modelle im selben Workspace wie Presets (Vorlagen) und Chats. Sobald ein Modell verfügbar ist, können Sie es als Route auswählen, ein Preset zuweisen und es mit Charakterkarten und Lorebooks (World Info) verwenden. Dabei stehen Ihnen Funktionen wie Swipe, neu generieren und Chat mit mehreren Zweigen zur Verfügung.
Der Modelldownload ist Teil des Local-First-Ansatzes, aber Cloud-APIs bleiben bei Bedarf weiterhin verfügbar.
Schritte zur Ausführung
- Entscheiden Sie, ob Sie lokale Inferenz unter Windows, unter Android oder beides benötigen.
- Wählen Sie eine Modellgröße, die zu Ihrem Speicherplatz und Arbeitsspeicher passt.
- Laden Sie das Modell in Tavern Studio herunter oder importieren Sie es.
- Wählen Sie es in den Modelleinstellungen aus.
- Nutzen Sie einen kurzen Test-Prompt.
- Starten Sie einen Charakter-Chat mit einer moderaten Kontext-Einstellung.
- Sichern Sie wichtige Charakterkarten und Chats getrennt von den Modelldateien.
FAQ
Kann ich Modelle direkt in Tavern Studio herunterladen?
Ja. Tavern Studio unterstützt Workflows zum Herunterladen und Importieren lokaler Modelle.
Benötigen lokale Modelle viel Speicherplatz?
Das können sie. Überprüfen Sie die Dateigröße des Modells vor dem Herunterladen.
Ist ein größeres Modell immer besser?
Nein. Ein Modell, das für Ihr Gerät zu langsam ist, kann im täglichen Gebrauch unpraktischer sein.
Kann ich Modelle später wieder löschen?
Der Modellspeicher sollte getrennt von den eigentlichen Charakter- und Chatdaten verwaltet werden. Überprüfen Sie die Speicher-Tools der App vor dem Löschen.
Kann ich weiterhin OpenAI oder Claude nutzen?
Ja. Tavern Studio unterstützt sowohl lokale Modelle als auch Cloud-APIs (wie eine OpenAI-kompatible API).
Nächste Schritte
- Importieren Sie eine Datei mit GGUF-Modelle importieren.
- Richten Sie Cloud-Modelle ein unter Cloud-API-Chat-Client.
- Lesen Sie mehr über Datenschutzabwägungen unter Privater AI-Chat-Client.