Tavern Studio Herunterladen / Testen
Tavern Studio Docs · 09

Lokaler GGUF-Modellführer

Mit lokalen Modellen können Sie KI-Chats ausführen, ohne Eingabeaufforderungen an einen Cloud-Modellanbieter zu senden. Tavern Studio unterstützt lokale GGUF-Workflows für Benutzer mit geeigneter Hardware.

Für wen das ist

  • Benutzer mit leistungsfähigen CPUs, GPUs oder dedizierten lokalen Modellkonfigurationen.
  • Benutzer, die Offline- oder lokales Rollenspiel bevorzugen.
  • Benutzer beheben Fehler aufgrund von unzureichendem Arbeitsspeicher oder langsamer Generierung.

Was Sie lernen werden

  • Was GGUF ist.
  • Wie sich lokale Modelle von Cloud-APIs unterscheiden.
  • So importieren oder laden Sie ein lokales Modell herunter.
  • Wie sich GPU-Ebenen und zugehörige Einstellungen auf die Leistung auswirken.
  • So beheben Sie Abstürze.

GGUF und Hardware-Erwartungen

GGUF ist ein gängiges Format für lokale LLM-Inferenz. Quantisierte Modelle reduzieren den Speicherbedarf, größere Modelle benötigen jedoch immer noch genügend RAM oder VRAM.

[!NOTE]> Die Geschwindigkeit des lokalen Modells hängt stark von der Hardware, der Modellgröße, der Quantisierung und der Backend-Konfiguration ab.

Schritt 1: Laden Sie ein GGUF-Modell herunter oder importieren Sie es

Verwenden Sie den Modellverwaltungsbereich, um eine.gguf-Datei herunterzuladen oder zu importieren. Wählen Sie eine Modellgröße, die Ihre Hardware verarbeiten kann.

Schritt 2: Starten Sie das lokale Modell

Öffnen Sie die lokalen Modelleinstellungen und konfigurieren Sie:

  • Backend-Typ.
  • Kontextgröße.
  • GPU-Ebenen.
  • CPU-Threads.
  • Chat-Format bei Bedarf.

Fehlerbehebung

Warum stürzt die App ab oder zeigt „Nicht genügend Speicher“ an?

Niedrigere GPU-Ebenen, verwenden Sie eine kleinere Quantisierung oder wählen Sie ein kleineres Modell.

Warum ist die Generierung sehr langsam?

Probieren Sie ein kleineres Modell aus, passen Sie die Threads an, nutzen Sie die GPU-Beschleunigung, falls verfügbar, oder reduzieren Sie die Kontextgröße.

Warum schlägt der Import fehl?

Die Datei ist möglicherweise unvollständig, beschädigt oder kein gültiges GGUF-Modell.

Nächste Schritte