Inférence
L'inférence est le processus consistant à exécuter un modèle d'IA entraîné sur de nouvelles données afin de générer des prédictions, des réponses ou des décisions, par opposition à l'entraînement, qui est le processus de création du modèle à partir de données.
Comprendre Inférence
Le cycle de développement de l'IA comporte deux phases distinctes : l'entraînement et l'inférence. L'entraînement correspond à l'apprentissage du modèle à partir de vastes ensembles de données et à l'ajustement de milliards de paramètres. L'inférence correspond au déploiement du modèle entraîné afin de traiter de nouveaux inputs et de générer des sorties en temps réel. Pour les utilisateurs d'applications d'IA, toutes les interactions se déroulent lors de la phase d'inférence.
La performance en inférence se mesure en termes de latence (la rapidité de génération d'une réponse) et de débit (le nombre de requêtes pouvant être traitées simultanément). Les deux éléments sont cruciaux pour des systèmes IA en production. Un modèle trop lent, prenant 30 secondes à répondre, interrompt complètement le flux de travail.
Plusieurs techniques permettent d'améliorer l'efficacité de l'inférence. La quantification réduit la précision des poids du modèle, ce qui diminue fortement l'utilisation mémoire et accélère le calcul avec un minimum de perte de qualité. Le décodage spéculatif utilise un petit modèle provisoire pour prédire plusieurs jetons à la fois. Le batching GPU traite plusieurs requêtes simultanément pour augmenter le débit.
L'inférence en streaming envoie les jetons à l'utilisateur dès leur génération au lieu d'attendre la réponse complète. Cela améliore drastiquement la latence perçue et constitue le standard dans les interfaces de chat IA modernes. GAIA diffuse ainsi en temps réel les réponses du LLM vers l'interface utilisateur.
Comment GAIA utilise Inférence
GAIA diffuse en temps réel les résultats d'inférence LLM vers l'interface, ce qui vous permet d'obtenir un retour immédiat à mesure que le modèle génère des réponses. Pour des tâches d'agents en arrière-plan comme le tri des emails ou l'exécution de workflows, GAIA effectue l'inférence de façon asynchrone afin que les tâches longues ne bloquent pas l'interface. Le choix du fournisseur de LLM vous permet également d'équilibrer le coût de l'inférence avec la qualité et la rapidité de la réponse.
Concepts liés
Modèle de langage volumineux (LLM)
Un modèle de langage volumineux (LLM) est une intelligence artificielle entraînée sur d'énormes quantités de textes et capable de comprendre, de générer et de raisonner sur le langage humain avec une remarquable aisance.
Modèle fondamental
Un modèle fondamental est un grand modèle d'IA entraîné à grande échelle sur des données variées et pouvant être adapté à un large éventail de tâches via l'ajustement fin, l'invite ou l'intégration dans des architectures applicatives.
Fenêtre de contexte
La fenêtre de contexte correspond au nombre maximal de jetons qu'un modèle de langage peut traiter en une seule inférence, incluant le prompt système, l'historique de conversation, les documents récupérés et la sortie générée.
Température (IA)
La température d'une IA (ou température d'un LLM) est le réglage qui détermine à quel point un modèle de langage choisit son mot suivant au hasard : basse (proche de 0), le modèle prend presque toujours le token le plus probable et ses réponses sont stables et prévisibles ; haute, il accepte des tokens moins probables et ses réponses deviennent plus variées, plus créatives et plus souvent fausses.
Token
In AI, a token is the basic unit of text that language models process — roughly equivalent to 4 characters or ¾ of an average English word. Tokens are used to measure context window capacity and determine API usage costs.
Modèle de raisonnement
Un modèle de raisonnement est un modèle de langage IA spécifiquement optimisé pour réfléchir à un problème étape par étape à l’aide d’une délibération interne approfondie avant de fournir une réponse finale, atteignant ainsi une meilleure précision sur les tâches de raisonnement complexes.
