Alucinación
La alucinación en IA es el fenómeno en el que un modelo de lenguaje genera información que suena confiable pero que es incorrecta, fabricada o carente de sentido y que no está respaldada por los datos de entrada o de entrenamiento.
Comprendiendo Alucinación
La alucinación es uno de los desafíos más importantes al implementar modelos de lenguaje grande. Los LLM no recuperan hechos de una base de datos; predicen el siguiente token según patrones estadísticos aprendidos durante el entrenamiento. Cuando se les pregunta sobre algo fuera de sus datos de entrenamiento o en los límites de su conocimiento, a veces generan información plausible pero falsa con aparente seguridad. Las alucinaciones pueden ir desde errores fácticos sutiles (fechas incorrectas, estadísticas erróneas) hasta invenciones completas (citas inventadas, personas inexistentes, características de productos imaginarias). El riesgo es que el tono confiado del modelo no da señales de que la información es incorrecta. Varias situaciones aumentan el riesgo de alucinación: pedir hechos muy específicos para los que el modelo no fue entrenado, solicitar información sobre entidades reales pero poco conocidas, hacer preguntas capciosas que implican premisas falsas, y proporcionar un contexto insuficiente al modelo. Un muestreo con baja temperatura reduce, pero no elimina, las alucinaciones. Las principales estrategias de mitigación son grounding y RAG. Grounding significa proporcionar al modelo documentos fuente y pedirle que base sus respuestas solo en ese contenido. RAG recupera documentos relevantes antes de la generación, brindando al modelo información precisa para consultar. Estas técnicas son particularmente efectivas para tareas de consulta fáctica.
Cómo GAIA usa Alucinación
GAIA minimiza las alucinaciones fundamentando sus respuestas en datos recuperados. Al responder preguntas sobre tus correos electrónicos, tareas o proyectos, GAIA primero obtiene contenido relevante de ChromaDB e incorpora esa información como contexto en el prompt. Al LLM se le indica que base su respuesta en los datos recuperados en lugar del conocimiento general, lo que reduce drásticamente el riesgo de información inventada en contextos críticos de productividad.
Conceptos relacionados
Generación Aumentada por Recuperación (RAG)
La Generación Aumentada por Recuperación (RAG) es una técnica que mejora las respuestas de LLM recuperando primero documentos o datos relevantes de una base de conocimiento externa e inyectando ese contexto en el prompt del modelo.
Ingeniería de prompts
La ingeniería de prompts es la práctica de diseñar y refinar entradas para los modelos de lenguaje de IA, a fin de provocar de manera confiable salidas deseadas, moldeando el comportamiento del modelo sin modificar sus parámetros subyacentes.
Modelo de Lenguaje Grande (LLM)
Un Modelo de Lenguaje Grande (LLM) es un modelo de inteligencia artificial entrenado con grandes cantidades de datos de texto capaz de comprender, generar y razonar sobre el lenguaje humano con notable fluidez.
Ventana de contexto
La ventana de contexto es la cantidad máxima de tokens que un modelo de lenguaje puede procesar en una única inferencia, abarcando el prompt del sistema, el historial de conversación, los documentos recuperados y la salida generada.
Modelo de lenguaje grande (LLM)
Un modelo de lenguaje grande (LLM) es un modelo de aprendizaje profundo entrenado con enormes conjuntos de datos textuales que puede comprender, generar y razonar sobre el lenguaje humano en una amplia variedad de tareas.
