Reinforcement Learning from Human Feedback (RLHF)
Reinforcement Learning from Human Feedback (RLHF) ist eine Methode des maschinellen Lernens, bei der KI-Modelle so trainiert werden, dass sie von Menschen bevorzugte Ausgaben erzeugen, indem sie aus menschlichen Bewertungen oder Rankings lernen, anstatt nur aus Rohdaten.
Verstehen Reinforcement Learning from Human Feedback (RLHF)
RLHF war entscheidend dafür, rohe große Sprachmodelle in die hilfreichen, harmlosen und ehrlichen Assistenten zu verwandeln, wie sie in Produkten wie ChatGPT und Claude zu finden sind. Der Prozess beinhaltet typischerweise drei Stufen: Überwachtes Fein-Tuning auf hochwertigen Demonstrationen, das Training eines Belohnungsmodells auf Basis menschlicher Präferenzdaten (Menschen ordnen mehrere Modellantworten vom besten zum schlechtesten), und anschließend ein Reinforcement Learning – insbesondere mit Proximal Policy Optimization (PPO) – um das ursprüngliche Modell so zu optimieren, dass es das erlernte Belohnungssignal maximiert. Der entscheidende Gedanke hinter RLHF ist, dass es für Menschen einfacher ist, Ausgaben zu vergleichen ("A ist besser als B"), als genau zu definieren, wie eine gute Ausgabe aussehen soll. Dieses vergleichende Präferenzsignal kann zu einem Belohnungsmodell aggregiert werden, das über die bewerteten Beispiele hinaus generalisiert. RLHF verbessert die Nützlichkeit und Sicherheit von eingesetzten Modellen erheblich, ist aber nicht frei von Einschränkungen. Modelle können lernen, das Belohnungsmodell auszutricksen – also Ausgaben zu erzeugen, die hohe Bewertungen erzielen, ohne tatsächlich besser zu sein. Die Qualität von RLHF ist durch die Qualität der menschlichen Bewerter begrenzt, die inkonsistent oder voreingenommen sein können. Alternativen und Erweiterungen umfassen Direct Preference Optimization (DPO), das ähnliche Ergebnisse ohne ein separates Belohnungsmodell erreicht, sowie Constitutional AI (CAI), das KI-Feedback statt menschlichem Feedback verwendet.
Wie GAIA verwendet Reinforcement Learning from Human Feedback (RLHF)
GAIAs zugrunde liegende Sprachmodelle werden mit RLHF trainiert, um hilfreiche, genaue und sichere Antworten zu liefern. Die durch RLHF erreichte Ausrichtung ermöglicht es GAIA, sensible persönliche Daten – E-Mails, Kalendereinträge, Aufgaben – zu verarbeiten und sinnvoll zwischen Aufgaben zu unterscheiden, die die Aufmerksamkeit des Nutzers erfordern, und solchen, die autonom erledigt werden können. GAIA profitiert von RLHF, ohne Benutzer der unausgerichteten Rohversion des Modells auszusetzen.
Verwandte Konzepte
Constitutional AI
Constitutional AI (CAI) ist eine von Anthropic entwickelte Trainingsmethode, bei der KI-Modelle durch einen Abgleich und eine Überarbeitung ihrer eigenen Ausgaben anhand eines festgelegten Regelwerks – einer „Verfassung“ – mit menschlichen Werten in Einklang gebracht werden, anstatt sich ausschließlich auf von Menschen bewertete Präferenzdaten zu stützen.
Feinabstimmung
Feinabstimmung ist der Prozess, bei dem ein vortrainiertes KI-Modell mit einem kleineren, aufgabenspezifischen Datensatz weitertrainiert wird, um dessen Verhalten für einen bestimmten Fachbereich oder eine Anwendung anzupassen.
Large Language Model (LLM)
Ein Large Language Model (LLM) ist ein Deep-Learning-Modell, das auf riesigen Textdatensätzen trainiert wurde. Es kann menschliche Sprache verstehen, generieren und in einer Vielzahl von Aufgaben anwenden.
Human-in-the-Loop
Human-in-the-Loop (HITL) ist ein Designprinzip, bei dem ein KI-System an kritischen Entscheidungspunkten menschliche Kontrolle und Zustimmung vorsieht. So wird sichergestellt, dass sensible oder weitreichende Aktionen erst nach menschlicher Bestätigung ausgeführt werden.
Prompt Engineering
Prompt Engineering ist die Praxis, Eingaben für KI-Sprachmodelle so zu entwerfen und zu verfeinern, dass zuverlässig gewünschte Ausgaben erreicht werden – und das ganz ohne Änderungen an den zugrunde liegenden Modellgewichten.
