Transferlernen
Transferlernen in der KI ist eine Technik, bei der ein für eine Aufgabe trainiertes Modell das Gelernte als Ausgangspunkt für eine andere, verwandte Aufgabe nutzt, statt von Grund auf neu trainiert zu werden. Es ist der Grund, warum große Sprachmodelle praktikabel sind: Sie werden einmal mit riesigen Textmengen vortrainiert und dann mit einem Bruchteil der Daten und Rechenleistung an Chat, Programmierung oder ein bestimmtes Fachgebiet angepasst.
Verstehen Transferlernen
Das Training eines großen Modells von Grund auf erfordert enorme Mengen an Daten, Rechenleistung und Zeit. Transferlernen macht KI-Entwicklung praktikabel, indem auf einem vortrainierten Modell aufgebaut wird, das bereits Sprache, Bilder oder andere Bereiche versteht. Dann wird es mit deutlich weniger Ressourcen auf spezifische Aufgaben feinabgestimmt.
Die moderne LLM-Landschaft basiert vollständig auf Transferlernen. GPT-4, Claude und Llama werden auf riesigen Mengen an Internettext vortrainiert und entwickeln so ein breites Sprachverständnis. Anschließend werden sie auf das Befolgen von Anweisungen optimiert, um nützliche Assistenten zu werden. Noch gezielteres Feintuning schafft dann spezialisierte Varianten, etwa für den medizinischen, juristischen oder Coding-Bereich.
Transferlernen funktioniert, weil Wissen übertragbar ist. Ein Modell, das mit Milliarden englischer Sätze trainiert wurde, erlernt Grammatik, Weltwissen und Denkstrukturen, die auf neue Aufgaben angewendet werden können. Die vortrainierten Repräsentationen halten grundlegende Strukturen bereit, die bei vielen Anwendungen von Nutzen sind.
Für Anwender von KI-Assistenten erklärt Transferlernen, warum LLMs auch bei Aufgaben hilfreich sind, für die sie nicht explizit trainiert wurden. Das breite vortrainierte Fundament erlaubt es, neuartige Anweisungen und Anwendungsgebiete zu bearbeiten.
So funktioniert Transferlernen in der Praxis: Man startet mit einem vortrainierten Modell, behält die allgemeinen Repräsentationen, die es gelernt hat, und passt nur an, was die neue Aufgabe braucht. Üblich sind drei Stufen. Feature Extraction friert die vortrainierten Schichten ein und trainiert eine kleine neue Ausgabeschicht, was bei wenigen gelabelten Daten funktioniert. Vollständiges Fine-Tuning trainiert alle Gewichte mit den neuen Daten weiter. Parametereffizientes Fine-Tuning wie LoRA oder Adapter trainiert einen kleinen Satz zusätzlicher Gewichte und lässt das Originalmodell unverändert, was Speicher spart und ein Basismodell für viele Aufgaben nutzbar macht.
Transferlernen mit großen Sprachmodellen nimmt meist eine von drei Formen an. Fine-Tuning verändert die Gewichte des Modells mit Aufgabenbeispielen, etwa einigen tausend gelabelten Support-Tickets für einen Klassifikator. In-Context-Learning verändert am Modell nichts: Anweisungen und einige Beispiele stehen im Prompt, und das vortrainierte Modell überträgt seine allgemeinen Fähigkeiten direkt auf die Aufgabe. Retrieval Augmentation liefert zur Abfragezeit die Fakten, die das Modell nie gesehen hat, etwa Ihre Dokumente. Teams probieren meist zuerst Prompting, ergänzen Retrieval, wenn dem Modell Wissen fehlt, und setzen Fine-Tuning nur ein, wenn sie ein konsistentes Format, einen Stil oder eine Fähigkeit brauchen, die Prompting nicht erreicht.
Klassische Beispiele außerhalb von LLMs: Ein auf ImageNet vortrainiertes Bildmodell wird mit einigen tausend Bildern feinabgestimmt, um Defekte an einer Fertigungslinie oder Befunde auf Röntgenbildern zu erkennen; BERT, auf allgemeinem Text vortrainiert, wird für Stimmungs- oder Spam-Erkennung feinabgestimmt. In der KI-Automatisierung erklärt dieselbe Idee, warum ein Assistent Ihre E-Mails lesen, Termine herausziehen und Antworten entwerfen kann, ohne je mit Ihrem Postfach trainiert worden zu sein: Die Fähigkeiten stammen aus dem Vortraining, die Anpassung geschieht über Anweisungen, Tools und Kontext.
Wo Transferlernen scheitert: wenn Quell- und Zieldomäne zu verschieden sind (negativer Transfer), wenn ein kleiner Fine-Tuning-Datensatz das Modell überanpassen oder allgemeine Fähigkeiten verlieren lässt (katastrophales Vergessen) und wenn das vortrainierte Modell Verzerrungen oder veraltete Fakten in die neue Aufgabe trägt. Bewerten Sie immer mit zurückgehaltenen Beispielen aus den echten Zieldaten, nicht mit den Daten, die zur Anpassung dienten.
Wie GAIA verwendet Transferlernen
GAIA setzt auf Transferlernen, indem es auf vortrainierten Modellen von Anbietern wie Google Gemini und OpenAI aufbaut, direkt oder über OpenRouter aufgerufen, statt eigene Modelle zu trainieren. Die allgemeinen Fähigkeiten, die diese Modelle im Vortraining gelernt haben (lesen, zusammenfassen, schlussfolgern, schreiben), werden über Anweisungen, Tool-Definitionen für Ihre verbundenen Apps und die Erinnerung an Fakten, die Sie geteilt haben, an Ihre Arbeit angepasst, nicht durch zusätzliches Training mit Ihren Daten.
Verwandte Konzepte
Feinabstimmung
Feinabstimmung ist der Prozess, bei dem ein vortrainiertes KI-Modell mit einem kleineren, aufgabenspezifischen Datensatz weitertrainiert wird, um dessen Verhalten für einen bestimmten Fachbereich oder eine Anwendung anzupassen.
Foundation Model
Ein Foundation Model ist ein großes KI-Modell, das auf umfangreichen und breit gefächerten Daten im großen Maßstab trainiert wird und durch Feintuning, Prompting oder Integration in Anwendungsarchitekturen für eine Vielzahl nachgelagerter Aufgaben angepasst werden kann.
Large Language Model (LLM)
Ein Large Language Model (LLM) ist ein künstliches Intelligenzmodell, das mit riesigen Mengen an Textdaten trainiert wurde und menschliche Sprache bemerkenswert flüssig verstehen, generieren und verarbeiten kann.
Prompt Engineering
Prompt Engineering ist die Praxis, Eingaben für KI-Sprachmodelle so zu entwerfen und zu verfeinern, dass zuverlässig gewünschte Ausgaben erreicht werden – und das ganz ohne Änderungen an den zugrunde liegenden Modellgewichten.
Few-Shot Learning
Few-Shot Learning bezeichnet die Fähigkeit eines KI-Modells, sich mithilfe weniger Eingabe-Ausgabe-Beispiele im Prompt auf eine neue Aufgabe oder ein neues Ausgabeformat einzustellen – ganz ohne Änderung der Modellparameter.
