دليل نموذج GGUF المحلي
تتيح لك النماذج المحلية تشغيل دردشة الذكاء الاصطناعي دون إرسال مطالبات إلى موفر النماذج السحابية. يدعم Tavern Studio سير عمل GGUF المحلي للمستخدمين الذين لديهم أجهزة مناسبة.
لمن هذا
- المستخدمون الذين لديهم وحدات معالجة مركزية أو وحدات معالجة رسومات قادرة أو إعدادات نموذج محلية مخصصة.
- المستخدمون الذين يفضلون لعب الأدوار دون الاتصال بالإنترنت أو اللعب المحلي أولاً.
- يقوم المستخدمون باستكشاف أخطاء نفاد الذاكرة أو الإنشاء البطيء وإصلاحها.
ما سوف تتعلمه
- ما هو GGUF.
- كيف تختلف النماذج المحلية عن واجهات برمجة التطبيقات السحابية.
- كيفية استيراد أو تنزيل نموذج محلي.
- كيف تؤثر طبقات GPU والإعدادات ذات الصلة على الأداء.
- كيفية استكشاف أخطاء الأعطال وإصلاحها.
GGUF وتوقعات الأجهزة
GGUF هو تنسيق شائع لاستدلال LLM المحلي. تعمل النماذج الكمية على تقليل متطلبات الذاكرة، لكن النماذج الأكبر حجمًا لا تزال بحاجة إلى ذاكرة وصول عشوائي (RAM) أو ذاكرة فيديو (VRAM) كافية.
[!NOTE]> تعتمد سرعة النموذج المحلي بشكل كبير على الأجهزة وحجم النموذج والتكميم وتكوين الواجهة الخلفية.
الخطوة 1: تنزيل نموذج GGUF أو استيراده
استخدم منطقة إدارة النموذج لتنزيل أو استيراد ملف.gguf. اختر حجم الطراز الذي يمكن لجهازك التعامل معه.
الخطوة الثانية: ابدأ النموذج المحلي
افتح إعدادات النموذج المحلي وقم بتكوين:
- نوع الخلفية.
- حجم السياق.
- طبقات GPU.
- خيوط وحدة المعالجة المركزية.
- تنسيق الدردشة عند الحاجة.
استكشاف الأخطاء وإصلاحها
لماذا يتعطل التطبيق أو يظهر "نفاد الذاكرة"؟
طبقات GPU أقل، استخدم تكميمًا أصغر، أو اختر نموذجًا أصغر.
لماذا يكون التوليد بطيئًا جدًا؟
جرّب نموذجًا أصغر، أو اضبط المواضيع، أو استخدم تسريع GPU إذا كان ذلك متاحًا، أو قلل حجم السياق.
لماذا يفشل الاستيراد؟
قد يكون الملف غير كامل، أو تالفًا، أو ليس نموذج GGUF صالحًا.
الخطوات التالية
- نظرة عامة على الواجهة: فهم مكان ظهور إعدادات النموذج المحلي.
- تكوين واجهة برمجة التطبيقات الأولى الخاصة بك: استخدم واجهات برمجة التطبيقات السحابية عندما لا تكون الأجهزة المحلية كافية.
- الأسئلة الشائعة: راجع المزيد من الأسئلة المتعلقة باستكشاف الأخطاء وإصلاحها.