Transferlernen
Transferlernen ist eine Methode des maschinellen Lernens, bei der ein Modell, das für eine Aufgabe oder Domäne trainiert wurde, für eine andere, aber verwandte Aufgabe angepasst wird. So wird bestehendes Wissen genutzt, statt komplett neu zu trainieren.
Verstehen Transferlernen
Das Training eines großen Modells von Grund auf erfordert enorme Mengen an Daten, Rechenleistung und Zeit. Transferlernen macht KI-Entwicklung praktikabel, indem auf einem vortrainierten Modell aufgebaut wird, das bereits Sprache, Bilder oder andere Bereiche versteht. Dann wird es mit deutlich weniger Ressourcen auf spezifische Aufgaben feinabgestimmt. Die moderne LLM-Landschaft basiert vollständig auf Transferlernen. GPT-4, Claude und Llama werden auf riesigen Mengen an Internettext vortrainiert und entwickeln so ein breites Sprachverständnis. Anschließend werden sie auf das Befolgen von Anweisungen optimiert, um nützliche Assistenten zu werden. Noch gezielteres Feintuning schafft dann spezialisierte Varianten, etwa für den medizinischen, juristischen oder Coding-Bereich. Transferlernen funktioniert, weil Wissen übertragbar ist. Ein Modell, das mit Milliarden englischer Sätze trainiert wurde, erlernt Grammatik, Weltwissen und Denkstrukturen, die auf neue Aufgaben angewendet werden können. Die vortrainierten Repräsentationen halten grundlegende Strukturen bereit, die bei vielen Anwendungen von Nutzen sind. Für Anwender von KI-Assistenten erklärt Transferlernen, warum LLMs auch bei Aufgaben hilfreich sind, für die sie nicht explizit trainiert wurden. Das breite vortrainierte Fundament erlaubt es, neuartige Anweisungen und Anwendungsgebiete zu bearbeiten.
Wie GAIA verwendet Transferlernen
GAIA nutzt Transferlernen, indem auf vortrainierten Foundation-Modellen aufgebaut wird, statt von Grund auf neu zu trainieren. Die von GAIA verwendeten LLMs (Claude, GPT-4, Llama) bringen durch Pre-Training umfassendes Weltwissen, logisches Denken und Sprachfähigkeiten mit. GAIA passt diese Fähigkeiten dann durch Prompt Engineering und Tool-Integration an produktive Arbeitsabläufe an, anstatt zusätzliche Trainings durchzuführen.
Verwandte Konzepte
Feinabstimmung
Feinabstimmung ist der Prozess, bei dem ein vortrainiertes KI-Modell mit einem kleineren, aufgabenspezifischen Datensatz weitertrainiert wird, um dessen Verhalten für einen bestimmten Fachbereich oder eine Anwendung anzupassen.
Foundation Model
Ein Foundation Model ist ein großes KI-Modell, das auf umfangreichen und breit gefächerten Daten im großen Maßstab trainiert wird und durch Feintuning, Prompting oder Integration in Anwendungsarchitekturen für eine Vielzahl nachgelagerter Aufgaben angepasst werden kann.
Large Language Model (LLM)
Ein Large Language Model (LLM) ist ein Deep-Learning-Modell, das auf riesigen Textdatensätzen trainiert wurde. Es kann menschliche Sprache verstehen, generieren und in einer Vielzahl von Aufgaben anwenden.
Prompt Engineering
Prompt Engineering ist die Praxis, Eingaben für KI-Sprachmodelle so zu entwerfen und zu verfeinern, dass zuverlässig gewünschte Ausgaben erreicht werden – und das ganz ohne Änderungen an den zugrunde liegenden Modellgewichten.
Few-Shot Learning
Few-Shot Learning bezeichnet die Fähigkeit eines KI-Modells, sich mithilfe weniger Eingabe-Ausgabe-Beispiele im Prompt auf eine neue Aufgabe oder ein neues Ausgabeformat einzustellen – ganz ohne Änderung der Modellparameter.
