Verstärkendes Lernen
Verstärkendes Lernen (RL) ist ein maschinelles Lernparadigma, bei dem ein Agent Entscheidungen trifft, indem er Belohnungssignale für erwünschte Handlungen erhält und Strafen für unerwünschte Aktionen bekommt.
Verstehen Verstärkendes Lernen
Beim verstärkenden Lernen interagiert ein Agent mit einer Umgebung, führt Aktionen aus, erhält für diese Belohnungen oder Strafen und lernt eine Strategie, um die kumulierte Belohnung zu maximieren. Im Unterschied zum überwachten Lernen (Lernen aus gelabelten Beispielen) lernt RL aus Erfahrungen und Feedback. RL hat bemerkenswerte Ergebnisse beim Spielen von Spielen (AlphaGo, OpenAI Five) und in der Robotik erzielt. Den größten Einfluss auf KI-Assistenten hat jedoch das "verstärkende Lernen mit menschlichem Feedback" (RLHF), denn darüber werden moderne LLMs trainiert, damit sie hilfsbereit, harmlos und ehrlich agieren. RLHF funktioniert folgendermaßen: Menschliche Bewerter vergleichen Modellantworten und markieren die bessere; ein Belohnungsmodell lernt, menschliche Präferenzen vorherzusagen; das LLM wird mit RL so feinabgestimmt, dass es eine möglichst hohe Belohnung erzielt. Dieser Prozess bringt das Verhalten des Modells besser mit menschlichen Wertvorstellungen in Einklang als reines überwachtes Lernen. Für KI-Assistenten prägt RL entscheidende Verhaltensweisen: Hilfsbereitschaft statt Ausweichverhalten, Ehrlichkeit statt Gefälligkeit, das Ablehnen schädlicher Anfragen sowie angemessen differenzierte Antworten statt übertriebener Selbstsicherheit.
Wie GAIA verwendet Verstärkendes Lernen
GAIA profitiert von durch RL trainierten LLMs (Claude, GPT-4), deren hilfreiches, harmloses und ehrliches Verhalten durch RLHF geprägt wurde. Die von RLHF eingebrachten Ausrichtungseigenschaften – Hilfsbereitschaft ohne Überangepasstheit, Ehrlichkeit bei Unsicherheiten, angemessene Ablehnungshaltung – sind grundlegend für das Verhalten der zugrunde liegenden Modelle von GAIA.
Verwandte Konzepte
Feinabstimmung
Feinabstimmung ist der Prozess, bei dem ein vortrainiertes KI-Modell mit einem kleineren, aufgabenspezifischen Datensatz weitertrainiert wird, um dessen Verhalten für einen bestimmten Fachbereich oder eine Anwendung anzupassen.
Foundation Model
Ein Foundation Model ist ein großes KI-Modell, das auf umfangreichen und breit gefächerten Daten im großen Maßstab trainiert wird und durch Feintuning, Prompting oder Integration in Anwendungsarchitekturen für eine Vielzahl nachgelagerter Aufgaben angepasst werden kann.
KI-Alignment
KI-Alignment ist das Forschungs- und Entwicklungsfeld, das sicherstellen soll, dass KI-Systeme Ziele verfolgen, die vorteilhaft, sicher und mit menschlichen Werten und Absichten vereinbar sind, selbst wenn sie leistungsfähiger und autonomer werden.
Large Language Model (LLM)
Ein Large Language Model (LLM) ist ein Deep-Learning-Modell, das auf riesigen Textdatensätzen trainiert wurde. Es kann menschliche Sprache verstehen, generieren und in einer Vielzahl von Aufgaben anwenden.
Human-in-the-Loop
Human-in-the-Loop (HITL) ist ein Designprinzip, bei dem ein KI-System an kritischen Entscheidungspunkten menschliche Kontrolle und Zustimmung vorsieht. So wird sichergestellt, dass sensible oder weitreichende Aktionen erst nach menschlicher Bestätigung ausgeführt werden.
