Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF)
El Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF) es una técnica de aprendizaje automático que entrena modelos de IA para producir resultados preferidos por las personas, aprendiendo a partir de clasificaciones o valoraciones proporcionadas por humanos en lugar de solo datos brutos.
Comprendiendo Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF)
RLHF fue fundamental para transformar los modelos de lenguaje grandes y sin refinar en los asistentes útiles, seguros y honestos que se ven en productos como ChatGPT y Claude. El proceso normalmente consta de tres etapas: ajuste supervisado mediante demostraciones de alta calidad, entrenamiento de un modelo de recompensas con datos de preferencias humanas (las personas clasifican varias respuestas de los modelos de mejor a peor), y luego uso de aprendizaje por refuerzo —específicamente Optimización de Políticas Proximal (PPO)— para ajustar el modelo original y maximizar la señal de recompensa aprendida. La idea central detrás de RLHF es que es más sencillo para las personas comparar resultados ("A es mejor que B") que especificar exactamente cómo debe ser una buena respuesta. Esta señal de preferencia comparativa se puede agregar en un modelo de recompensas que generalice más allá de los ejemplos calificados. RLHF mejora significativamente la utilidad y seguridad de los modelos desplegados, pero no está exento de limitaciones. Los modelos pueden aprender a 'optimizar la recompensa' —produciendo respuestas que obtienen puntuaciones altas en el modelo de recompensas sin ser genuinamente mejores. La calidad de RLHF está limitada por la calidad de los evaluadores humanos, que pueden tener preferencias inconsistentes o sesgadas. Existen alternativas y extensiones como la Optimización Directa de Preferencias (DPO), que logra una alineación similar sin un modelo de recompensas separado, y la IA Constitucional (CAI), que utiliza retroalimentación de IA en lugar de retroalimentación humana.
Cómo GAIA usa Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF)
Los modelos de lenguaje subyacentes de GAIA están entrenados con RLHF para generar respuestas útiles, precisas y seguras. Gracias a la alineación proporcionada por RLHF, GAIA puede gestionar datos personales sensibles — correos electrónicos, eventos de calendario, tareas — y tomar decisiones razonables sobre qué requiere la atención del usuario y qué puede gestionarse de forma autónoma. GAIA se beneficia de RLHF sin exponer a los usuarios al comportamiento bruto y no alineado del modelo.
Conceptos relacionados
IA Constitucional
La IA Constitucional (CAI) es una metodología de entrenamiento desarrollada por Anthropic que alinea los modelos de IA con los valores humanos permitiendo que la propia IA evalúe y revise sus resultados conforme a un conjunto escrito de principios — una "constitución" — en lugar de depender exclusivamente de datos etiquetados manualmente sobre preferencias humanas.
Ajuste fino
El ajuste fino es el proceso de tomar un modelo de IA preentrenado y continuar su entrenamiento con un conjunto de datos más pequeño y específico para adaptar su comportamiento a un dominio o aplicación particular.
Modelo de lenguaje grande (LLM)
Un modelo de lenguaje grande (LLM) es un modelo de aprendizaje profundo entrenado con enormes conjuntos de datos textuales que puede comprender, generar y razonar sobre el lenguaje humano en una amplia variedad de tareas.
Human-in-the-Loop
Human-in-the-loop (HITL) es un patrón de diseño donde el sistema de IA incluye supervisión y aprobación humana en puntos de decisión críticos, asegurando que las acciones sensibles o de alto impacto requieran confirmación humana antes de ejecutarse.
Ingeniería de prompts
La ingeniería de prompts es la práctica de diseñar y refinar entradas para los modelos de lenguaje de IA, a fin de provocar de manera confiable salidas deseadas, moldeando el comportamiento del modelo sin modificar sus parámetros subyacentes.
