Feinabstimmung
Feinabstimmung ist der Prozess, bei dem ein vortrainiertes KI-Modell mit einem kleineren, aufgabenspezifischen Datensatz weitertrainiert wird, um dessen Verhalten für einen bestimmten Fachbereich oder eine Anwendung anzupassen.
Verstehen Feinabstimmung
Das Training eines großen Sprachmodells von Grund auf erfordert enorme Rechenressourcen und riesige Datensätze. Die Feinabstimmung ist eine viel effizientere Alternative: Man beginnt mit einem leistungsfähigen vortrainierten Modell und passt es mit einem wesentlich kleineren Datensatz an einen bestimmten Anwendungsfall an. Während der Feinabstimmung werden die Modellgewichte aktualisiert, um die Muster, Terminologie und gewünschten Ergebnisse des Zielbereichs besser abzubilden. Es gibt mehrere Ansätze zur Feinabstimmung. Die vollständige Feinabstimmung aktualisiert alle Modellparameter und liefert die besten Ergebnisse, ist jedoch sehr rechenintensiv. Parameter-effiziente Feinabstimmungsmethoden (PEFT) wie LoRA aktualisieren nur einen kleinen Teil der Parameter und reduzieren so den Rechenaufwand erheblich – bei vergleichbaren Resultaten. Instruktions-Feinabstimmung trainiert Modelle darauf, Anweisungen zu befolgen; so werden Basismodelle zu Chat-Assistenten. Reinforcement Learning from Human Feedback (RLHF) ist eine Variante der Feinabstimmung, bei der menschliche Präferenzdaten genutzt werden, um Modellausgaben besser an menschliche Erwartungen anzupassen. Diese Technik war entscheidend dafür, dass Modelle wie ChatGPT hilfreich, harmlos und ehrlich wurden. Für Unternehmen schafft domänenspezifische Feinabstimmung Modelle, die die korrekte Fachterminologie verwenden, spezielle Formatierungsregeln befolgen und spezialisiertem Wissen folgen, bei dem allgemeine Modelle Schwächen zeigen.
Wie GAIA verwendet Feinabstimmung
GAIA verwendet feinabgestimmte Modelle, die für Produktivitäts- und Kommunikationstätigkeiten angepasst sind, wo es sinnvoll ist. Anstatt ausschließlich auf Basis-LLMs zu setzen, erlaubt die GAIA-Architektur den Wechsel zwischen allgemeinen und spezialisierten Modellen – je nach Aufgabe. Für das Verfassen von E-Mails, die Optimierung von Terminplanung und die Extraktion von Aufgaben können speziell abgestimmte Modelle leistungsfähiger und kostengünstiger sein als Allzweckmodelle.
Verwandte Konzepte
Large Language Model (LLM)
Ein Large Language Model (LLM) ist ein Deep-Learning-Modell, das auf riesigen Textdatensätzen trainiert wurde. Es kann menschliche Sprache verstehen, generieren und in einer Vielzahl von Aufgaben anwenden.
Prompt Engineering
Prompt Engineering ist die Praxis, Eingaben für KI-Sprachmodelle so zu entwerfen und zu verfeinern, dass zuverlässig gewünschte Ausgaben erreicht werden – und das ganz ohne Änderungen an den zugrunde liegenden Modellgewichten.
Foundation Model
Ein Foundation Model ist ein großes KI-Modell, das auf umfangreichen und breit gefächerten Daten im großen Maßstab trainiert wird und durch Feintuning, Prompting oder Integration in Anwendungsarchitekturen für eine Vielzahl nachgelagerter Aufgaben angepasst werden kann.
Large Language Model (LLM)
Ein Large Language Model (LLM) ist ein künstliches Intelligenzmodell, das mit riesigen Mengen an Textdaten trainiert wurde und menschliche Sprache bemerkenswert flüssig verstehen, generieren und verarbeiten kann.
