Transformer
Un transformer es una arquitectura de red neuronal introducida en 2017 que utiliza mecanismos de autoatención para procesar secuencias de datos en paralelo, formando la base de todos los modelos de lenguaje grande modernos.
Comprendiendo Transformer
Antes de los transformers, el procesamiento de secuencias dependía de redes neuronales recurrentes (RNN) que procesaban el texto un token a la vez. Los transformers lo cambiaron todo al introducir el mecanismo de autoatención, que permite al modelo ponderar la relevancia de cada token en una secuencia respecto a todos los demás tokens simultáneamente. Esta capacidad de procesamiento en paralelo hizo posible entrenar con conjuntos de datos mucho más grandes y capturar dependencias de largo alcance en el texto. El artículo original sobre transformers, 'Attention Is All You Need' (Vaswani et al., 2017), introdujo la arquitectura codificador-decodificador. Los LLM modernos como GPT utilizan solo el decodificador, mientras que modelos como BERT utilizan solo el codificador. La arquitectura solo-decodificador ha demostrado ser especialmente potente para tareas de generación de texto. La autoatención permite que los transformers comprendan relaciones contextuales. La palabra 'banco' en 'banco de río' versus 'cuenta bancaria' obtiene diferentes representaciones contextuales según los tokens que la rodean. Esta comprensión del contexto es lo que hace que los LLM sean mucho mejores en tareas de lenguaje que las arquitecturas anteriores. Ahora los transformers se usan más allá del texto: los transformers de visión procesan imágenes, los transformers de audio procesan voz y los transformers multimodales procesan varios tipos de datos simultáneamente. La arquitectura se ha convertido en el paradigma dominante del deep learning en prácticamente todas las modalidades.
Cómo GAIA usa Transformer
Cada LLM que impulsa la capa de razonamiento de GAIA está construido sobre la arquitectura transformer. Cuando GAIA lee tus correos electrónicos, planifica flujos de trabajo o redacta respuestas, los mecanismos de atención del transformer le permiten al modelo comprender el contexto a lo largo de documentos extensos y conversaciones. Esta base arquitectónica es lo que permite a GAIA mantener una comprensión coherente en tareas complejas de varios pasos.
Conceptos relacionados
Modelo de lenguaje grande (LLM)
Un modelo de lenguaje grande (LLM) es un modelo de aprendizaje profundo entrenado con enormes conjuntos de datos textuales que puede comprender, generar y razonar sobre el lenguaje humano en una amplia variedad de tareas.
Modelo de Lenguaje Grande (LLM)
Un Modelo de Lenguaje Grande (LLM) es un modelo de inteligencia artificial entrenado con grandes cantidades de datos de texto capaz de comprender, generar y razonar sobre el lenguaje humano con notable fluidez.
Red neuronal
Una red neuronal es un modelo computacional inspirado en los sistemas neuronales biológicos, compuesto por capas interconectadas de nodos que aprenden a transformar datos de entrada en salidas ajustando los pesos de las conexiones durante el entrenamiento.
Embeddings
Los embeddings son representaciones densas en vectores numéricos de datos, como texto, imágenes o audio, que capturan significado semántico y relaciones en un espacio de alta dimensión.
Ventana de contexto
La ventana de contexto es la cantidad máxima de tokens que un modelo de lenguaje puede procesar en una única inferencia, abarcando el prompt del sistema, el historial de conversación, los documentos recuperados y la salida generada.
