Télécharger des modèles locaux dans Tavern Studio
Télécharger un modèle local ne se résume pas à choisir le nom d'un modèle cloud. Vous ajoutez un fichier physique sur votre appareil : le stockage, la mémoire vive, la vitesse et les performances de votre matériel sont donc essentiels.
Tavern Studio prend en charge les flux de travail de modèles locaux, ce qui vous permet de faire tourner une application LLM locale pour des chats privés ou hors ligne sans que notre logiciel ne soit qu'une simple surcouche d'API.
À qui cela s'adresse
- Aux utilisateurs qui recherchent un fonctionnement en local sans avoir à gérer une interface utilisateur séparée.
- Aux utilisateurs de Windows qui choisissent d'importer ou de faire tourner un modèle GGUF.
- Aux utilisateurs d'Android qui testent les limites matérielles de leur appareil avec des modèles locaux.
- Aux écrivains qui souhaitent un client de chat IA privé pour leurs personnages.
Concepts clés
Avant de télécharger un modèle, vérifiez sa taille et les exigences matérielles requises. Un modèle léger et quantifié est souvent préférable au quotidien par rapport à un modèle plus volumineux qui ralentirait votre système.
Réfléchissez également à l'usage que vous en ferez. Le jeu de rôle IA avec des personnages, la rédaction de textes, la synthèse ou le suivi d'instructions peuvent donner des résultats très différents d'un modèle à l'autre.
La solution Tavern Studio
Tavern Studio regroupe les modèles téléchargés ou importés au sein du même espace de travail que vos presets et vos discussions. Une fois le modèle disponible, vous pouvez le sélectionner comme route, lui associer un preset, et l'utiliser en combinaison avec vos cartes de personnage et vos données World Info.
Le téléchargement de modèles locaux s'inscrit dans un fonctionnement axé sur le local, bien que les API cloud restent disponibles à tout moment si nécessaire.
Étapes d'utilisation
- Déterminez si vous avez besoin d'une inférence locale sous Windows, sous Android, ou les deux.
- Choisissez une taille de modèle adaptée à votre stockage et à votre mémoire vive.
- Téléchargez ou importez le modèle dans Tavern Studio.
- Sélectionnez-le dans les paramètres de modèle.
- Effectuez un test avec un prompt court.
- Lancez un chat avec une carte de personnage en configurant un contexte IA modéré.
- Sauvegardez vos fiches de personnage et vos chats importants séparément des fichiers de modèles.
FAQ
Puis-je télécharger des modèles directement dans Tavern Studio ?
Oui. Tavern Studio prend en charge les flux de travail de téléchargement et d'importation pour toute application LLM locale.
Les modèles locaux prennent-ils beaucoup d'espace de stockage ?
Cela peut être le cas. Nous vous conseillons de vérifier la taille du fichier du modèle avant de lancer le téléchargement.
Un modèle plus grand est-il toujours plus performant ?
Non. Un modèle trop lourd et lent pour votre matériel offrira une moins bonne expérience au quotidien.
Puis-je supprimer des modèles plus tard ?
Oui. Le stockage des fichiers de modèles doit être géré indépendamment des données de vos cartes de personnage et de vos discussions. Consultez les outils de gestion du stockage de l'application avant de procéder à la suppression.
Puis-je toujours utiliser OpenAI ou Claude ?
Oui. Tavern Studio prend en charge l'utilisation d'une application LLM locale ainsi que l'accès aux API cloud.
Étapes suivantes
- Importez un fichier avec le guide sur l'Importation de modèle GGUF.
- Configurez des modèles cloud avec le Client de chat API cloud.
- Évaluez les compromis de confidentialité dans Client de chat IA privé.