Import Mô Hình GGUF Đã Tải Vào Tavern Studio
Nếu bạn đã có sẵn thư viện các mô hình ngôn ngữ lớn định dạng GGUF (ví dụ tải từ LM Studio hay Ollama), bạn không cần tải lại chúng. Tavern Studio cho phép bạn import trực tiếp các file GGUF đang có sẵn trên máy để bắt đầu việc suy luận AI ngay lập tức.
Quá trình import hỗ trợ kết nối trực tiếp với engine llama.cpp (trên Windows) hoặc LiteRT (trên Android).
Hướng Dẫn Import GGUF
- Vào Khu Vực Model: Điều hướng đến menu "Local Models" trong thiết lập.
- Chọn Nút Import: Nhấp vào nút "Import Model" (Thêm mô hình).
- Trỏ Đường Dẫn File: Mở trình duyệt tệp (File Explorer / Bộ chọn tệp) và trỏ đến file
.ggufcủa bạn. - Xác Nhận Import: Ứng dụng sẽ lưu liên kết tới mô hình (hoặc copy vào thư mục của ứng dụng tùy nền tảng).
- Chọn Làm Model Hiện Tại: Ở cửa sổ chat, hãy chọn model vừa import từ menu đổ xuống để bắt đầu.
Lưu Ý Quan Trọng
- Phiên bản GGUF: Đảm bảo file GGUF của bạn không bị hỏng (corrupt) trong quá trình tải trước đó.
- Tùy Chọn Lượng Tử Hóa (Quantization): Các file có độ lượng tử hóa như
Q4_K_MhoặcQ5thường cho hiệu năng/chất lượng cân bằng tốt nhất trên máy cá nhân và thiết bị di động. - RAM và VRAM: Chạy các model được import sẽ tiêu tốn tài nguyên hệ thống. Hãy đảm bảo bạn có đủ dung lượng RAM trống tương ứng với kích thước file GGUF.
Câu Hỏi Thường Gặp
Việc import có di chuyển file gốc của tôi đi chỗ khác không?
Tùy vào nền tảng. Trên Windows, thông thường có thể chỉ cần tạo liên kết (link) tới thư mục cũ. Trên Android, do cơ chế phân quyền bảo mật (Scoped Storage), app thường yêu cầu sao chép (copy) file GGUF vào vùng nhớ nội bộ của nó.
App báo lỗi khi load GGUF, tôi phải làm sao?
Đảm bảo file đó là định dạng GGUF chuẩn. Nếu file quá lớn so với dung lượng RAM của điện thoại hoặc máy tính, hệ điều hành sẽ từ chối load file. Hãy thử một mô hình GGUF nhỏ hơn (như Q3 hoặc Q4 của dòng 7B).