Kör lokal LLM på Android med LiteRT

Att ha en kraftfull AI i fickan är nu möjligt. Tavern Studio låter dig köra en lokal LLM på Android med hjälp av Google's LiteRT-teknologi.

Detta innebär att din telefon gör alla beräkningar lokalt. Du behöver inte betala för moln-API:er eller oroa dig för att vara utan uppkoppling.

Hur det fungerar

Vi har optimerat appen för att köra kvantiserade modeller effektivt på Androids hårdvara. Du importerar en kompatibel modell, och appen sköter resten.

För bästa prestanda rekommenderar vi moderna Android-telefoner.

Fördelar med LiteRT

LiteRT är designat för mobila enheter, vilket sparar på batteriet jämfört med att köra traditionella GGUF-modeller via en emulator.