Apprentissage Few-Shot
L'apprentissage few-shot est la capacité d'un modèle d'IA à s'adapter à une nouvelle tâche ou à un nouveau format de sortie à partir de seulement quelques exemples d'entrée-sortie fournis dans l'invite, sans mise à jour des poids.
Comprendre Apprentissage Few-Shot
L'apprentissage few-shot est l'une des propriétés les plus utiles en pratique des grands modèles de langage. En incluant quelques exemples de mappage entrée-sortie souhaité dans l'invite, vous pouvez orienter le modèle de façon fiable vers un format de sortie, un style ou un mode de raisonnement spécifique. On parle aussi d'apprentissage en contexte, car cet apprentissage se produit dans la fenêtre de contexte et non par l'ajustement des gradients. Par exemple, montrer trois exemples au modèle sur l'extraction de tâches depuis des e-mails lui apprend à extraire systématiquement les tâches de nouveaux e-mails, même si leur formulation diffère largement. Cela est beaucoup plus économe en exemples que l'apprentissage supervisé traditionnel qui exige des milliers d'exemples annotés pour obtenir la même cohérence. Le prompting few-shot est particulièrement performant pour les tâches à sortie structurée : extraire des champs spécifiques d'un texte non structuré, convertir des descriptions en objets JSON ou classifier des éléments en catégories. Les exemples fournis définissent implicitement à la fois le format attendu et les critères de décision. Le nombre optimal d'exemples (« shots ») varie selon la tâche et le modèle. Ajouter des exemples améliore généralement la cohérence, mais consomme de la place dans la fenêtre de contexte. Pour les tâches d'extraction complexes, trois à dix exemples offrent généralement un bon compromis. Des techniques avancées comme le few-shot chain-of-thought incluent des étapes de raisonnement dans les exemples pour améliorer la performance sur les tâches demandant une réflexion complexe.
Comment GAIA utilise Apprentissage Few-Shot
GAIA utilise des exemples few-shot dans ses invites pour les tâches nécessitant un rendu structuré cohérent, comme l’extraction de détails de tâches à partir d’e-mails, l’analyse d’informations d’événements dans le langage naturel ou la catégorisation de messages par urgence. En fournissant des exemples représentatifs, les prompts de GAIA garantissent que le LLM retourne les données au format exact nécessaire pour les traitements ultérieurs et l’invocation d’outils.
Concepts liés
Zero-shot learning
Le zero-shot learning est la capacité d'un modèle d'IA à réaliser des tâches pour lesquelles il n'a jamais été spécifiquement entraîné, en se basant sur des connaissances générales et du raisonnement plutôt que sur des exemples propres à la tâche.
Ingénierie de prompt
L’ingénierie de prompt est la pratique qui consiste à concevoir et affiner les instructions données à des modèles linguistiques d’IA afin d’obtenir de manière fiable les résultats souhaités, en influençant leur comportement sans modifier leurs paramètres internes.
Large Language Model (LLM)
Un Large Language Model (LLM) est un modèle d'apprentissage profond entraîné sur d'immenses ensembles de textes, capable de comprendre, générer et raisonner sur le langage humain dans une grande variété de tâches.
chaînage de raisonnement
Le chaînage de raisonnement (Chain-of-Thought, ou CoT) est une technique d’invite qui incite le modèle d’IA à expliciter ses étapes de raisonnement intermédiaires avant de produire une réponse finale, ce qui améliore considérablement la précision sur des problèmes complexes à étapes multiples.
