Aprendizaje por transferencia
El aprendizaje por transferencia en IA es una técnica en la que un modelo entrenado para una tarea reutiliza lo que aprendió como punto de partida para otra tarea distinta pero relacionada, en lugar de entrenarse desde cero. Es lo que hace viables los grandes modelos de lenguaje: se preentrenan una vez con enormes cantidades de texto y luego se adaptan al chat, a la programación o a un dominio concreto con una pequeña parte de los datos y del cómputo.
Comprendiendo Aprendizaje por transferencia
Entrenar un modelo grande desde cero requiere enormes cantidades de datos, poder de cómputo y tiempo. El aprendizaje por transferencia hace que el desarrollo de IA sea práctico, ya que parte de un modelo preentrenado que ya comprende lenguaje, imágenes u otros dominios, y luego se ajusta con datos específicos de la tarea, requiriendo así menos recursos.
El ecosistema moderno de LLM está totalmente construido sobre el aprendizaje por transferencia. GPT-4, Claude y Llama se preentrenan con grandes volúmenes de texto de Internet, aprendiendo comprensión general del lenguaje. Luego, se afinan con datos de seguimiento de instrucciones para convertirse en asistentes útiles. Una afinación adicional en dominios específicos (médico, jurídico, programación) genera variantes especializadas.
El aprendizaje por transferencia funciona porque el conocimiento se generaliza. Un modelo entrenado con miles de millones de frases en inglés aprende gramática, conocimientos del mundo y patrones de razonamiento que pueden transferirse a tareas nuevas. La representación preentrenada captura estructuras fundamentales que resultan valiosas en muchas aplicaciones.
Para los usuarios de asistentes de IA, el aprendizaje por transferencia explica por qué los LLM pueden ser útiles en tareas para las que no se entrenaron explícitamente. La amplia base de preentrenamiento proporciona una base generalizable para instrucciones y dominios novedosos.
Cómo funciona en la práctica: partes de un modelo preentrenado, conservas las representaciones generales que aprendió y adaptas solo lo que necesita la nueva tarea. Hay tres niveles habituales. La extracción de características congela las capas preentrenadas y entrena una pequeña capa de salida nueva, lo que funciona cuando tienes pocos datos etiquetados. El ajuste fino completo sigue entrenando todos los pesos con los datos nuevos. El ajuste fino eficiente en parámetros, como LoRA o los adaptadores, entrena un pequeño conjunto de pesos extra y deja intacto el modelo original, lo que reduce la memoria y permite que un mismo modelo base sirva para muchas tareas.
El aprendizaje por transferencia a partir de grandes modelos de lenguaje suele adoptar una de tres formas. El ajuste fino cambia los pesos del modelo con ejemplos de la tarea, por ejemplo unos miles de tickets de soporte etiquetados para un clasificador. El aprendizaje en contexto no cambia nada del modelo: pones instrucciones y algunos ejemplos en el prompt, y el modelo preentrenado aplica sus habilidades generales a la tarea en el momento. La generación aumentada por recuperación aporta en el momento de la consulta los datos que el modelo nunca vio, como tus documentos. Lo habitual es probar primero con prompts, añadir recuperación cuando al modelo le falta conocimiento y hacer ajuste fino solo cuando se necesita un formato, un estilo o una habilidad constantes que los prompts no consiguen.
Ejemplos clásicos fuera de los LLM: un modelo de imágenes preentrenado en ImageNet se ajusta para detectar defectos en una línea de producción o hallazgos en radiografías con unos pocos miles de imágenes; BERT, preentrenado con texto general, se ajusta para detectar sentimiento o spam. En la automatización con IA, la misma idea explica por qué un asistente puede leer tu correo, extraer fechas y redactar respuestas sin haberse entrenado nunca con tu bandeja de entrada: las habilidades vienen del preentrenamiento y la adaptación ocurre mediante instrucciones, herramientas y contexto.
Cuándo falla: cuando el dominio de origen y el de destino son demasiado distintos (transferencia negativa), cuando un conjunto de ajuste pequeño hace que el modelo se sobreajuste u olvide habilidades generales (olvido catastrófico) y cuando el modelo preentrenado arrastra sesgos o datos desactualizados a la nueva tarea. Evalúa siempre con ejemplos reservados de los datos reales de destino, no con los usados para adaptar el modelo.
Cómo GAIA usa Aprendizaje por transferencia
GAIA se apoya en el aprendizaje por transferencia al construir sobre modelos preentrenados de proveedores como Google Gemini y OpenAI, llamados directamente o a través de OpenRouter, en lugar de entrenar los suyos. Las habilidades generales que esos modelos aprendieron en el preentrenamiento (leer, resumir, razonar, redactar) se adaptan a tu trabajo mediante instrucciones, definiciones de herramientas para tus apps conectadas y la memoria de los datos que has compartido, no mediante entrenamiento adicional con tus datos.
Conceptos relacionados
Ajuste fino
El ajuste fino es el proceso de tomar un modelo de IA preentrenado y continuar su entrenamiento con un conjunto de datos más pequeño y específico para adaptar su comportamiento a un dominio o aplicación particular.
Modelo fundacional
Un modelo fundacional es un gran modelo de IA entrenado a escala con datos amplios que puede adaptarse a una amplia variedad de tareas mediante ajuste fino, indicaciones o integración en arquitecturas de aplicaciones.
Modelo de Lenguaje Grande (LLM)
Un Modelo de Lenguaje Grande (LLM) es un modelo de inteligencia artificial entrenado con grandes cantidades de datos de texto capaz de comprender, generar y razonar sobre el lenguaje humano con notable fluidez.
Ingeniería de prompts
La ingeniería de prompts es la práctica de diseñar y refinar entradas para los modelos de lenguaje de IA, a fin de provocar de manera confiable salidas deseadas, moldeando el comportamiento del modelo sin modificar sus parámetros subyacentes.
Aprendizaje Few-Shot
El aprendizaje few-shot es la capacidad de un modelo de IA para adaptarse a una nueva tarea o formato de salida a partir de solo unos pocos ejemplos de entrada y salida proporcionados en el prompt, sin necesidad de ajustar los pesos.
