Temperatura (IA)
La temperatura es un parámetro en la inferencia de modelos de lenguaje que controla la aleatoriedad en la selección de tokens: temperaturas más altas producen resultados más variados y creativos, mientras que temperaturas bajas generan respuestas más consistentes y deterministas.
Comprendiendo Temperatura (IA)
Cuando un LLM genera texto, calcula una distribución de probabilidad sobre las posibles siguientes palabras. La temperatura escala esta distribución antes de muestrear. Con una temperatura de 0, el modelo siempre elige la palabra de mayor probabilidad (decodificación codiciosa), produciendo una salida determinista. Con temperaturas más altas (0.7-1.0), el modelo selecciona de una distribución más amplia, introduciendo variedad y, en ocasiones, resultados sorprendentes o incorrectos.
La temperatura es un control entre creatividad y consistencia. Para tareas que requieren precisión factual —resumir un correo, extraer tareas de una reunión— se prefiere una temperatura baja (0.0-0.3). Para tareas creativas —lluvia de ideas, redacción de textos variados, generación de nombres— una temperatura alta (0.7-1.0) produce resultados más interesantes.
Los parámetros relacionados incluyen top-p (muestreo por núcleo), que limita la selección a la masa de probabilidad superior, y top-k, que restringe la selección a los k tokens más probables. En conjunto, estos parámetros ofrecen a los desarrolladores un control detallado sobre las características de la salida.
La mayoría de las API de asistentes de IA exponen la temperatura como un parámetro configurable. GAIA mantiene una temperatura baja por defecto de 0,1 para casi todo, de modo que la clasificación, la extracción y el uso de herramientas sean consistentes.
Cómo GAIA usa Temperatura (IA)
GAIA ejecuta casi todas sus tareas con una temperatura baja por defecto de 0,1. Leer tu bandeja de entrada, extraer tareas, informarte de tu calendario y usar herramientas exige que la misma entrada dé el mismo resultado. Solo unas pocas tareas que se benefician de la variedad usan un valor más alto.
Conceptos relacionados
Modelo de Lenguaje Grande (LLM)
Un Modelo de Lenguaje Grande (LLM) es un modelo de inteligencia artificial entrenado con grandes cantidades de datos de texto capaz de comprender, generar y razonar sobre el lenguaje humano con notable fluidez.
Ingeniería de prompts
La ingeniería de prompts es la práctica de diseñar y refinar entradas para los modelos de lenguaje de IA, a fin de provocar de manera confiable salidas deseadas, moldeando el comportamiento del modelo sin modificar sus parámetros subyacentes.
Inferencia
La inferencia es el proceso de ejecutar un modelo de IA entrenado sobre nuevos datos de entrada para generar predicciones, respuestas o decisiones, en contraste con el entrenamiento, que es el proceso de construir el modelo a partir de los datos.
Alucinación
La alucinación en IA es el fenómeno en el que un modelo de lenguaje genera información que suena confiable pero que es incorrecta, fabricada o carente de sentido y que no está respaldada por los datos de entrada o de entrenamiento.
Salida estructurada
La salida estructurada es una técnica que restringe a un LLM a responder en un formato predefinido — generalemente JSON o XML — permitiendo el análisis programático fiable de las respuestas del modelo en lugar de texto libre.
