Apprentissage par transfert
L'apprentissage par transfert en IA est une technique dans laquelle un modèle entraîné sur une tâche réutilise ce qu'il a appris comme point de départ pour une tâche différente mais proche, au lieu d'être entraîné depuis zéro. C'est ce qui rend les grands modèles de langage praticables : ils sont pré-entraînés une fois sur d'énormes volumes de texte, puis adaptés à la conversation, au code ou à un domaine précis avec une petite fraction des données et du calcul.
Comprendre Apprentissage par transfert
L'entraînement d'un grand modèle à partir de zéro nécessite énormément de données, de calcul et de temps. L'apprentissage par transfert rend le développement de l'IA abordable en partant d'un modèle pré-entraîné qui comprend déjà le langage, les images ou d'autres domaines, puis en l'affinant avec des données spécifiques à la tâche, ce qui demande beaucoup moins de ressources.
L'écosystème moderne des LLMs repose entièrement sur l'apprentissage par transfert. GPT-4, Claude et Llama sont pré-entraînés sur de vastes corpus de textes internet, acquérant une compréhension générale du langage. Ils sont ensuite affinés avec des données d'instructions pour devenir des assistants utiles. Un affinage supplémentaire sur des domaines ciblés (médical, juridique, programmation) permet de créer des variantes spécialisées.
L'apprentissage par transfert fonctionne parce que le savoir se généralise. Un modèle entraîné sur des milliards de phrases en anglais apprend la grammaire, les connaissances du monde et des schémas de raisonnement qui se transfèrent à de nouvelles tâches. La base pré-entraînée capture la structure fondamentale qui est précieuse dans de nombreuses applications.
Pour les utilisateurs d'assistants IA, l'apprentissage par transfert explique pourquoi les LLMs peuvent être utiles sur des tâches pour lesquelles ils n'ont pas été explicitement entraînés. Leur base de pré-entraînement fournit une fondation qui se généralise à de nouvelles instructions et domaines.
Comment cela fonctionne en pratique : on part d'un modèle pré-entraîné, on conserve les représentations générales qu'il a apprises et on n'adapte que ce dont la nouvelle tâche a besoin. Il existe trois niveaux courants. L'extraction de caractéristiques gèle les couches pré-entraînées et entraîne une petite couche de sortie, ce qui convient quand on a peu de données étiquetées. Le fine-tuning complet poursuit l'entraînement de tous les poids sur les nouvelles données. Le fine-tuning efficace en paramètres, comme LoRA ou les adaptateurs, entraîne un petit ensemble de poids supplémentaires sans toucher au modèle d'origine, ce qui réduit la mémoire et permet à un même modèle de base de servir plusieurs tâches.
L'apprentissage par transfert à partir des grands modèles de langage prend en général l'une de trois formes. Le fine-tuning modifie les poids du modèle avec des exemples de la tâche, par exemple quelques milliers de tickets de support étiquetés pour un classifieur. L'apprentissage en contexte ne change rien au modèle : on place des instructions et quelques exemples dans le prompt, et le modèle pré-entraîné applique ses compétences générales à la tâche sur le moment. La génération augmentée par récupération fournit au moment de la requête les informations que le modèle n'a jamais vues, comme vos documents. Les équipes essaient d'abord le prompt, ajoutent la récupération quand le modèle manque de connaissances, et ne passent au fine-tuning que pour un format, un style ou une compétence constants que le prompt n'atteint pas.
Exemples classiques hors LLM : un modèle d'images pré-entraîné sur ImageNet est affiné pour repérer des défauts sur une ligne de production ou des anomalies sur des radiographies avec quelques milliers d'images ; BERT, pré-entraîné sur du texte général, est affiné pour la détection de sentiment ou de spam. Dans l'automatisation par l'IA, la même idée explique pourquoi un assistant peut lire vos e-mails, en extraire des dates et rédiger des réponses sans jamais avoir été entraîné sur votre boîte de réception : les compétences viennent du pré-entraînement, et l'adaptation passe par les instructions, les outils et le contexte.
Quand le transfert échoue : quand les domaines source et cible sont trop différents (transfert négatif), quand un petit jeu de fine-tuning fait surapprendre le modèle ou lui fait perdre ses capacités générales (oubli catastrophique), et quand le modèle pré-entraîné reporte ses biais ou des faits périmés sur la nouvelle tâche. Évaluez toujours sur des exemples mis de côté issus des vraies données cibles, pas sur celles qui ont servi à l'adaptation.
Comment GAIA utilise Apprentissage par transfert
GAIA s'appuie sur l'apprentissage par transfert en utilisant des modèles pré-entraînés de fournisseurs comme Google Gemini et OpenAI, appelés directement ou via OpenRouter, plutôt que d'entraîner les siens. Les compétences générales acquises par ces modèles lors du pré-entraînement (lire, résumer, raisonner, rédiger) sont adaptées à votre travail par des instructions, des définitions d'outils pour vos applications connectées et la mémoire des informations que vous avez partagées, et non par un entraînement supplémentaire sur vos données.
Concepts liés
Ajustement fin
L'ajustement fin est le processus qui consiste à reprendre l'entraînement d'un modèle d'IA pré-entraîné sur un jeu de données plus petit et spécifique à une tâche afin d'adapter son comportement à un domaine ou une application particuliers.
Modèle fondamental
Un modèle fondamental est un grand modèle d'IA entraîné à grande échelle sur des données variées et pouvant être adapté à un large éventail de tâches via l'ajustement fin, l'invite ou l'intégration dans des architectures applicatives.
Modèle de langage volumineux (LLM)
Un modèle de langage volumineux (LLM) est une intelligence artificielle entraînée sur d'énormes quantités de textes et capable de comprendre, de générer et de raisonner sur le langage humain avec une remarquable aisance.
Ingénierie de prompt
L’ingénierie de prompt est la pratique qui consiste à concevoir et affiner les instructions données à des modèles linguistiques d’IA afin d’obtenir de manière fiable les résultats souhaités, en influençant leur comportement sans modifier leurs paramètres internes.
Apprentissage Few-Shot
L'apprentissage few-shot est la capacité d'un modèle d'IA à s'adapter à une nouvelle tâche ou à un nouveau format de sortie à partir de seulement quelques exemples d'entrée-sortie fournis dans l'invite, sans mise à jour des poids.
