การนำเข้าโมเดล GGUF ใน Tavern Studio
ฟอร์แมต GGUF เป็นมาตรฐานที่ได้รับความนิยมมากที่สุดสำหรับการรันโมเดลภาษาขนาดใหญ่ (LLM) บนอุปกรณ์ส่วนตัว เนื่องจากมีการบีบอัดที่ดีและสามารถใช้พลังจากทั้ง CPU และ GPU ร่วมกันได้
Tavern Studio ใช้เอนจิน llama.cpp ในการรันไฟล์ GGUF บน Windows ทำให้คุณได้รับประสิทธิภาพสูงสุดในการประมวลผล
วิธีอิมพอร์ตและรันโมเดล
- เตรียมไฟล์: ตรวจสอบให้แน่ใจว่าไฟล์โมเดลมีนามสกุล
.gguf - หน้า Model Settings: ใน Tavern Studio ให้ไปที่แถบ Local Model
- เลือกไฟล์: กดปุ่ม Browse หรือ ลากไฟล์
.ggufเข้ามาในหน้าต่างตั้งค่า - ตั้งค่าพารามิเตอร์ (ทางเลือก): กำหนดจำนวน Threads และ GPU Layers (ยิ่งใส่ Layer เยอะ ยิ่งดึงพลังการ์ดจอมาใช้ได้มาก ทำให้เจนข้อความเร็วขึ้น)
- กด Start Inference: รอให้โมเดลโหลดเข้าสู่หน่วยความจำ เมื่อสถานะเป็น Ready ก็พร้อมแชทได้ทันที