Temperature (KI)
Temperature ist ein Parameter beim Inferenzprozess von Sprachmodellen, der die Zufälligkeit bei der Auswahl von Tokens steuert – höhere Werte führen zu vielfältigeren und kreativeren Ausgaben, während niedrigere Werte konsistentere und deterministischere Antworten erzeugen.
Verstehen Temperature (KI)
Wenn ein LLM Text generiert, berechnet es eine Wahrscheinlichkeitsverteilung für mögliche nächste Tokens. Temperature skaliert diese Verteilung vor dem Sampling. Bei Temperature 0 wählt das Modell immer das wahrscheinlichste Token (greedy decoding) und liefert damit deterministische Ausgaben. Bei höheren Temperaturen (0,7-1,0) wird aus einer breiteren Verteilung ausgewählt, was für mehr Variation und gelegentliche Überraschungen – oder Fehler – sorgt. Temperature ist ein Regler zwischen Kreativität und Konsistenz. Bei Aufgaben, die faktische Genauigkeit erfordern – etwa beim Zusammenfassen von E-Mails oder Extrahieren von Aufgaben aus Meetings – empfiehlt sich ein niedriger Wert (0,0-0,3). Wird Kreativität benötigt – z. B. beim Brainstorming, Schreiben verschiedener Texte oder Generieren von Namen – erzielt ein höherer Wert (0,7-1,0) interessantere Resultate. Verwandte Parameter sind top-p (Nucleus Sampling), das das Sampling auf den wahrscheinlichsten Massenanteil begrenzt, sowie top-k, das die Auswahl auf die k wahrscheinlichsten Tokens beschränkt. Zusammen ermöglichen diese Parameter eine feingranulare Steuerung der Ausgabecharakteristika. Die meisten KI-Assistant-APIs stellen Temperature als einstellbaren Parameter zur Verfügung. GAIA setzt je nach Aufgabentyp unterschiedliche Temperature-Werte ein – niedrigere für Faktenabruf und Aufgabenerstellung, höhere für kreatives Schreiben und Brainstorming.
Wie GAIA verwendet Temperature (KI)
GAIA verwendet je nach Aufgabe unterschiedliche Temperatureinstellungen. Bei faktischen Aufgaben wie dem Lesen deines Posteingangs, dem Extrahieren von To-dos oder dem Berichten über Kalenderereignisse nutzt GAIA niedrige Werte für gleichbleibende Genauigkeit. Bei kreativen Aufgaben wie dem Verfassen von Antworten, dem Erstellen von Zusammenfassungen oder beim Brainstorming setzt GAIA auf höhere Temperaturen, um eine natürlichere und vielfältigere Ausgabe zu erzielen.
Verwandte Konzepte
Large Language Model (LLM)
Ein Large Language Model (LLM) ist ein Deep-Learning-Modell, das auf riesigen Textdatensätzen trainiert wurde. Es kann menschliche Sprache verstehen, generieren und in einer Vielzahl von Aufgaben anwenden.
Prompt Engineering
Prompt Engineering ist die Praxis, Eingaben für KI-Sprachmodelle so zu entwerfen und zu verfeinern, dass zuverlässig gewünschte Ausgaben erreicht werden – und das ganz ohne Änderungen an den zugrunde liegenden Modellgewichten.
Inference
Inferenz ist der Vorgang, bei dem ein trainiertes KI-Modell auf neue Eingabedaten angewendet wird, um Vorhersagen, Antworten oder Entscheidungen zu treffen – im Gegensatz zum Training, bei dem das Modell aus Daten erstellt wird.
Halluzination
KI-Halluzination ist das Phänomen, bei dem ein Sprachmodell überzeugend klingende, aber faktisch falsche, erfundene oder unsinnige Informationen erzeugt, die nicht auf den Eingabedaten oder Trainingsdaten basieren.
Strukturierte Ausgabe
Strukturierte Ausgabe ist eine Technik, die ein LLM darauf beschränkt, in einem vordefinierten Format – typischerweise JSON oder XML – zu antworten. So können Programmanwendungen zuverlässig auf die Modellantworten zugreifen, anstatt freien Text auswerten zu müssen.
