Temperatura (IA)
La temperatura es un parámetro en la inferencia de modelos de lenguaje que controla la aleatoriedad en la selección de tokens: temperaturas más altas producen resultados más variados y creativos, mientras que temperaturas bajas generan respuestas más consistentes y deterministas.
Comprendiendo Temperatura (IA)
Cuando un LLM genera texto, calcula una distribución de probabilidad sobre las posibles siguientes palabras. La temperatura escala esta distribución antes de muestrear. Con una temperatura de 0, el modelo siempre elige la palabra de mayor probabilidad (decodificación codiciosa), produciendo una salida determinista. Con temperaturas más altas (0.7-1.0), el modelo selecciona de una distribución más amplia, introduciendo variedad y, en ocasiones, resultados sorprendentes o incorrectos. La temperatura es un control entre creatividad y consistencia. Para tareas que requieren precisión factual —resumir un correo, extraer tareas de una reunión— se prefiere una temperatura baja (0.0-0.3). Para tareas creativas —lluvia de ideas, redacción de textos variados, generación de nombres— una temperatura alta (0.7-1.0) produce resultados más interesantes. Los parámetros relacionados incluyen top-p (muestreo por núcleo), que limita la selección a la masa de probabilidad superior, y top-k, que restringe la selección a los k tokens más probables. En conjunto, estos parámetros ofrecen a los desarrolladores un control detallado sobre las características de la salida. La mayoría de las API de asistentes de IA exponen la temperatura como un parámetro configurable. GAIA utiliza diferentes configuraciones de temperatura según el tipo de tarea: baja para recuperación factual y creación de tareas, alta para redacción creativa y lluvia de ideas.
Cómo GAIA usa Temperatura (IA)
GAIA utiliza diferentes ajustes de temperatura según la tarea. Para tareas factuales como leer tu bandeja de entrada, extraer tareas o informar sobre eventos del calendario, GAIA usa temperaturas bajas para obtener una precisión constante. Para tareas creativas como redactar respuestas, generar resúmenes o lluvia de ideas, utiliza temperaturas más altas para lograr resultados más naturales y variados.
Conceptos relacionados
Modelo de lenguaje grande (LLM)
Un modelo de lenguaje grande (LLM) es un modelo de aprendizaje profundo entrenado con enormes conjuntos de datos textuales que puede comprender, generar y razonar sobre el lenguaje humano en una amplia variedad de tareas.
Ingeniería de prompts
La ingeniería de prompts es la práctica de diseñar y refinar entradas para los modelos de lenguaje de IA, a fin de provocar de manera confiable salidas deseadas, moldeando el comportamiento del modelo sin modificar sus parámetros subyacentes.
Inferencia
La inferencia es el proceso de ejecutar un modelo de IA entrenado sobre nuevos datos de entrada para generar predicciones, respuestas o decisiones, en contraste con el entrenamiento, que es el proceso de construir el modelo a partir de los datos.
Alucinación
La alucinación en IA es el fenómeno en el que un modelo de lenguaje genera información que suena confiable pero que es incorrecta, fabricada o carente de sentido y que no está respaldada por los datos de entrada o de entrenamiento.
Salida estructurada
La salida estructurada es una técnica que restringe a un LLM a responder en un formato predefinido — generalemente JSON o XML — permitiendo el análisis programático fiable de las respuestas del modelo en lugar de texto libre.
