Ajuste fino
El ajuste fino es el proceso de tomar un modelo de IA preentrenado y continuar su entrenamiento con un conjunto de datos más pequeño y específico para adaptar su comportamiento a un dominio o aplicación particular.
Comprendiendo Ajuste fino
Entrenar un modelo de lenguaje grande desde cero requiere enormes recursos computacionales y conjuntos de datos gigantescos. El ajuste fino ofrece una alternativa mucho más eficiente: empezar con un modelo preentrenado potente y adaptarlo a un caso de uso concreto usando un conjunto de datos mucho más pequeño. Durante el ajuste fino, los pesos del modelo se actualizan para reflejar mejor los patrones, la terminología y los resultados esperados del dominio objetivo. Existen varios enfoques de ajuste fino. El ajuste fino completo actualiza todos los parámetros del modelo y produce los mejores resultados, pero es computacionalmente costoso. Los métodos de ajuste fino eficiente en parámetros (PEFT), como LoRA, actualizan solo un subconjunto pequeño de parámetros, reduciendo drásticamente los requisitos computacionales y logrando resultados comparables. El ajuste fino por instrucciones entrena a los modelos para seguir instrucciones, que es como los LLM base se convierten en asistentes conversacionales. El aprendizaje por refuerzo con retroalimentación humana (RLHF) es una variante del ajuste fino que utiliza datos de preferencias humanas para alinear las salidas del modelo con las expectativas humanas. Esta técnica fue clave para hacer que modelos como ChatGPT fueran útiles, inofensivos y honestos. Para aplicaciones empresariales, el ajuste fino específico de dominio produce modelos que emplean el vocabulario adecuado, siguen convenciones de formato específicas y comprenden conocimientos especializados que los modelos generales manejan de forma limitada.
Cómo GAIA usa Ajuste fino
GAIA utiliza modelos ajustados específicamente para tareas de productividad y comunicación cuando es relevante. En lugar de depender solo de LLMs base, la arquitectura de GAIA permite alternar entre modelos generales y especializados según la tarea. Para la redacción de correos, la optimización de agendas y la extracción de tareas, los modelos adaptados pueden superar a los de propósito general a una fracción del costo de inferencia.
Conceptos relacionados
Modelo de lenguaje grande (LLM)
Un modelo de lenguaje grande (LLM) es un modelo de aprendizaje profundo entrenado con enormes conjuntos de datos textuales que puede comprender, generar y razonar sobre el lenguaje humano en una amplia variedad de tareas.
Ingeniería de prompts
La ingeniería de prompts es la práctica de diseñar y refinar entradas para los modelos de lenguaje de IA, a fin de provocar de manera confiable salidas deseadas, moldeando el comportamiento del modelo sin modificar sus parámetros subyacentes.
Modelo fundacional
Un modelo fundacional es un gran modelo de IA entrenado a escala con datos amplios que puede adaptarse a una amplia variedad de tareas mediante ajuste fino, indicaciones o integración en arquitecturas de aplicaciones.
Modelo de Lenguaje Grande (LLM)
Un Modelo de Lenguaje Grande (LLM) es un modelo de inteligencia artificial entrenado con grandes cantidades de datos de texto capaz de comprender, generar y razonar sobre el lenguaje humano con notable fluidez.
