Lokalne modele LLM na Androidzie z użyciem LiteRT

Odgrywanie ról (RP) często odbywa się z perspektywy kanapy lub w podróży, na ekranie smartfona. Do tej pory uruchamianie AI lokalnie na telefonie było koszmarem. Tavern Studio używa biblioteki LiteRT (wcześniej TFLite), by uruchomić mniejsze, wydajne modele na procesorach ARM Twojego smartfona.

Zalety LiteRT

• Zoptymalizowane zużycie baterii w porównaniu z tradycyjnym serwerem.
• Akceleracja sprzętowa dla NPU oraz GPU urządzeń mobilnych (w zależności od układu).
• Czat offline w trybie samolotowym!

Pamiętaj tylko o pobraniu kompaktowych, zoptymalizowanych dla mobili formatów modeli przed wyruszeniem w drogę.