導入 GGUF 模型到 Tavern Studio
GGUF 是本地 LLM 推理中常見的模型文件格式，尤其常見於 llama.cpp 工作流。在 Tavern Studio 中導入 GGUF 模型後，你可以把本地推理和角色卡、世界書、預設、聊天歷史放在同一套工作流裡。
關鍵不是「文件能不能導入」，而是模型是否適合你的硬體和上下文需求。
適合誰
- 在 Windows 上配置本地推理的用戶。
- 下載量化 GGUF 模型的人。
- 想做離線角色聊天的創作者。
- 比較本地模型和 OpenAI-compatible API 的用戶。
核心內容
GGUF 文件可能很大。量化能降低記憶體壓力，但可能影響質量。上下文長度和回復長度也會影響速度和記憶體。
建議從保守設置開始，確認穩定後再提高上下文或換更大模型。
Tavern Studio 如何處理
Tavern Studio 提供本地模型導入/下載路徑，並在模型設置中選擇使用。選中後，本地模型會接收由角色卡、世界書、預設和聊天歷史組裝出的 Prompt。
也就是說，模型文件只是工作流的一部分。
操作步驟
- 下載適合硬體的 GGUF 模型。
- 打開 Tavern Studio 的本地模型導入入口。
- 選擇 GGUF 文件。
- 將其設為本地模型路線。
- 使用保守預設先測試。
- 發短 Prompt 確認速度和輸出。
- 性能不夠時調整模型、上下文或回復長度。
常見問題
GGUF 是什麼？
GGUF 是 llama.cpp 兼容本地推理工作流中常見的模型文件格式。
Tavern Studio 能導入 GGUF 嗎？
可以。GGUF 導入/下載是 Tavern Studio 本地 LLM 工作流的一部分。
為什麼模型很慢？
可能是模型太大、上下文太長、硬體不足或加速後端受限。
GGUF 模型能用角色卡嗎？
可以。同一套角色卡、世界書、預設都會參與 Prompt 組裝。
應該用本地模型還是雲端模型？
本地模型適合隱私和離線控制。雲端模型適合更大模型和遠端推理。
下一步
- 學習Windows 本地 LLM。
- 查看下載本地模型。
- 配置OpenAI-compatible API。