ローカルGGUFモデルガイド
ローカルモデルを使用すると、クラウドのモデルプロバイダーにプロンプトを送信することなく、AIチャットを実行できます。Tavern Studioは、適切なハードウェアをお持ちのユーザー向けに、ローカルGGUFワークフローをサポートしています。
対象読者
- 十分な性能のCPU、GPU、または専用のローカルモデル環境をお持ちのユーザー。
- オフラインまたはローカルファーストでのロールプレイを好むユーザー。
- メモリ不足（Out of Memory）エラーや生成速度の低下のトラブルシューティングを行いたいユーザー。
本書で学べること
- GGUFとは何か。
- ローカルモデルとクラウドAPIの違い。
- ローカルモデルのインポートまたはダウンロード方法。
- GPUレイヤーや関連設定がパフォーマンスに与える影響。
- クラッシュ時のトラブルシューティング。
GGUFと必要なハードウェア環境
GGUFは、ローカルLLM推論で一般的に使用される形式です。量子化されたモデルは必要なメモリ容量を削減しますが、大きなモデルを実行するには依然として十分なRAMまたはVRAMが必要です。
ステップ 1：GGUFモデルのダウンロードまたはインポート
モデル管理エリアを使用して、.gguf ファイルをダウンロードまたはインポートします。お使いのハードウェアが処理できるモデルのサイズを選択してください。
ステップ 2：ローカルモデルの起動
ローカルモデル設定を開き、以下を構成します：
- バックエンドの種類（Backend type）。
- コンテキストサイズ（Context size）。
- GPUレイヤー（GPU Layers）。
- CPUスレッド数（CPU threads）。
- 必要に応じてチャットフォーマット（Chat format）。
トラブルシューティング
アプリがクラッシュする、または「Out of Memory」と表示されるのはなぜですか？
GPUレイヤーの値を下げるか、より軽量な量子化（量比）を選択するか、あるいはより小さなモデルを使用してください。
生成速度が極めて遅いのはなぜですか？
より小さなモデルを試す、スレッド数を調整する、利用可能な場合はGPUアクセラレーションを使用する、またはコンテキストサイズを小さくしてください。
インポートが失敗するのはなぜですか？
ファイルが不完全であるか、破損しているか、または有効なGGUFモデルではない可能性があります。
次のステップ
- インターフェースの概要：ローカルモデル設定がどこに表示されるかを理解します。
- 最初のAPI設定：ローカルのハードウェアスペックが不足している場合は、クラウドAPIを使用します。
- FAQ：その他のトラブルシューティングの質問を確認します。