Pobieraj modele lokalne do czatu AI

Największą barierą przy rozpoczęciu przygody z prywatnym czatem AI jest poszukiwanie odpowiedniego modelu w przestrzeni HuggingFace. W Tavern Studio wprowadzono narzędzia ułatwiające ten proces.

Jak to działa?

• Menedżer modeli: Pozwala szybko podpiąć pliki *.gguf pobrane na dysk.
• Natywne wczytywanie: Nie potrzebujesz skomplikowanej wirtualnej maszyny z Pythonem – nasze silniki C++ ładują model od razu.
• Łatwe dobieranie zasobów pamięci (VRAM) do wielkości modelu.

Czy każdy sprzęt to uruchomi?

Pobieranie modeli jest możliwe na każdym sprzęcie, lecz płynność generowania zależy od pamięci RAM i mocy układu graficznego w Twoim komputerze lub smartfonie.