Few-Shot Learning
Few-Shot Learning bezeichnet die Fähigkeit eines KI-Modells, sich mithilfe weniger Eingabe-Ausgabe-Beispiele im Prompt auf eine neue Aufgabe oder ein neues Ausgabeformat einzustellen – ganz ohne Änderung der Modellparameter.
Verstehen Few-Shot Learning
Few-Shot Learning zählt zu den praktisch nützlichsten Eigenschaften großer Sprachmodelle. Indem Sie dem Prompt einige Beispiele für die gewünschte Eingabe-Ausgabe-Zuordnung hinzufügen, können Sie das Modell zuverlässig auf ein bestimmtes Ausgabeformat, einen Stil oder ein Argumentationsmuster lenken. Dies wird auch als In-Context Learning bezeichnet, da das Lernen im Kontextfenster erfolgt und nicht durch Gewichtsaktualisierungen. Zeigt man einem Modell zum Beispiel drei Beispiele, wie man Aufgabendetails aus E-Mails extrahiert, lernt es, Aufgaben auch aus neuen – womöglich völlig anders formulierten – E-Mails konsistent zu erkennen. Das ist viel effizienter als klassisches überwacht gelerntes Training, das Tausende gelabelter Beispiele für vergleichbare Konsistenz benötigt. Few-Shot Prompting ist besonders wirkungsvoll für strukturierte Ausgabeaufgaben: das Extrahieren spezifischer Felder aus unstrukturiertem Text, das Umwandeln von Beschreibungen in JSON-Objekte oder das Klassifizieren von Einträgen in Kategorien. Die Beispiele definieren dabei sowohl das erwartete Format als auch die Entscheidungskriterien implizit. Die optimale Anzahl von Beispielen („Shots“) hängt von Aufgabe und Modell ab. Mehr Beispiele verbessern meist die Konsistenz, verringern aber den verfügbaren Kontext. Für komplexe Extraktionsaufgaben bieten drei bis zehn Beispiele in der Regel einen guten Kompromiss. Fortgeschrittene Techniken wie Chain-of-Thought Few-Shot Learning fügen den Beispielen zusätzliche Argumentationsschritte hinzu, um die Leistung bei komplexem logischem Denken zu verbessern.
Wie GAIA verwendet Few-Shot Learning
GAIA verwendet Few-Shot-Beispiele in Prompts für Aufgaben, die eine konsistente und strukturierte Ausgabe erfordern, wie zum Beispiel das Extrahieren von Aufgabendetails aus E-Mails, das Auslesen von Kalendereinträgen aus natürlicher Sprache oder das Kategorisieren von Nachrichten nach Dringlichkeit. Durch die Bereitstellung repräsentativer Beispiele stellen die Prompts von GAIA sicher, dass das LLM die Daten exakt im benötigten Format für die weitere Verarbeitung und Tool-Ansteuerung zurückgibt.
Verwandte Konzepte
Zero-Shot Learning
Zero-Shot Learning ist die Fähigkeit eines KI-Modells, Aufgaben zu erledigen, für die es nie explizit trainiert wurde, indem es auf Allgemeinwissen und logisches Denken zurückgreift, anstatt auf aufgabenspezifische Beispiele.
Prompt Engineering
Prompt Engineering ist die Praxis, Eingaben für KI-Sprachmodelle so zu entwerfen und zu verfeinern, dass zuverlässig gewünschte Ausgaben erreicht werden – und das ganz ohne Änderungen an den zugrunde liegenden Modellgewichten.
Large Language Model (LLM)
Ein Large Language Model (LLM) ist ein Deep-Learning-Modell, das auf riesigen Textdatensätzen trainiert wurde. Es kann menschliche Sprache verstehen, generieren und in einer Vielzahl von Aufgaben anwenden.
Chain-of-Thought-Reasoning
Chain-of-Thought (CoT) Reasoning ist eine Prompting-Technik, bei der ein KI-Modell aufgefordert wird, seine Zwischenschritte im Denkprozess offen darzulegen, bevor es eine finale Antwort gibt. Dies erhöht die Genauigkeit bei komplexen mehrstufigen Aufgaben erheblich.
