LLM local
Un LLM local est un grand modèle de langage qui fonctionne entièrement sur votre propre matériel — qu'il s'agisse d'un ordinateur portable, d'une station de travail ou d'un serveur auto-hébergé — sans transmettre de données à des fournisseurs d'API externes.
Comprendre LLM local
Les LLM cloud (GPT-4, Claude, Gemini) traitent vos requêtes sur des infrastructures externes. Chaque demande comprend vos données — contenu d’e-mail, description de tâches, texte de documents — qui sont envoyées sur les serveurs du fournisseur et y sont traitées. Pour les données sensibles, cela soulève des enjeux de confidentialité et de conformité.
Les LLM locaux éliminent cette exposition des données. Des modèles comme Llama 3, Mistral, Gemma et Phi s’exécutent entièrement sur votre propre matériel grâce à des outils comme Ollama, LM Studio ou llama.cpp. Vos données ne quittent jamais votre machine. La contrepartie concerne la capacité et la vitesse : les modèles locaux sont en général moins puissants que les modèles cloud de pointe, et l'exécution de grands modèles requiert un matériel GPU conséquent.
L’écart entre LLM locaux et cloud se réduit rapidement. Llama 3 70B approche la qualité de GPT-4 sur de nombreuses tâches. Les techniques de quantification réduisent considérablement la taille des modèles — un modèle 70B peut fonctionner sur du matériel grand public une fois quantifié en précision 4 bits. Pour des domaines ou tâches spécifiques (notamment ceux nécessitant la confidentialité), les LLM locaux sont de plus en plus pertinents.
Des approches hybrides émergent : utilisez un LLM local pour le traitement de données personnelles et sensibles, et un LLM cloud pour les tâches nécessitant la plus grande capacité lorsque les données sont moins sensibles.
Comment GAIA utilise LLM local
GAIA n'exécute pas de LLM local et ne peut pas être relié à un serveur de modèles local comme Ollama ou LM Studio. Il fonctionne avec des modèles hébergés de fournisseurs pris en charge, et une installation auto-hébergée nécessite aussi une clé d'API de l'un d'eux (OpenAI ou Google Gemini). L'auto-hébergement avec Docker garde les bases de données et les services de GAIA, y compris vos données d'e-mails, de tâches et d'agenda, sur votre propre infrastructure, mais chaque requête au modèle reste envoyée au fournisseur choisi. Si tout doit rester sur votre machine, utilisez directement un outil local comme Ollama ou LM Studio.
Concepts liés
Auto-hébergement
L’auto-hébergement consiste à faire fonctionner un logiciel sur vos propres serveurs ou infrastructure au lieu d’utiliser un service hébergé dans le cloud, vous offrant un contrôle total sur vos données, la configuration et la disponibilité.
Souveraineté des données
La souveraineté des données est le principe selon lequel les données sont soumises aux lois et à la gouvernance de la juridiction dans laquelle elles sont stockées, et les individus ou organisations ont le droit de choisir où résident leurs données et qui y a accès.
Modèle de langage volumineux (LLM)
Un modèle de langage volumineux (LLM) est une intelligence artificielle entraînée sur d'énormes quantités de textes et capable de comprendre, de générer et de raisonner sur le langage humain avec une remarquable aisance.
IA source-available
L’IA source-available désigne un logiciel d’intelligence artificielle dont le code source est accessible publiquement, permettant à chacun d'inspecter, modifier, distribuer et contribuer au projet.
Modèle fondamental
Un modèle fondamental est un grand modèle d'IA entraîné à grande échelle sur des données variées et pouvant être adapté à un large éventail de tâches via l'ajustement fin, l'invite ou l'intégration dans des architectures applicatives.
