Token
En inteligencia artificial, un token es el trozo de texto más pequeño que un modelo de lenguaje lee y escribe: puede ser una palabra corta, parte de una palabra, un signo de puntuación o un espacio. Los modelos como ChatGPT, Claude o Gemini no ven letras ni palabras, sino secuencias de tokens; en inglés un token equivale de media a unos 4 caracteres (unas tres cuartas partes de una palabra) y en español suele cubrir algo menos. Los tokens miden cuánto texto cabe en la ventana de contexto de un modelo y cuánto cuesta usarlo.
Comprendiendo Token
Los modelos de lenguaje no procesan el texto carácter por carácter ni palabra por palabra. En su lugar, operan con tokens: unidades sub-palabra producidas por un tokenizador que segmenta el texto en fragmentos según patrones de frecuencia del corpus de entrenamiento. Palabras cortas y habituales como "the" o "is" suelen ser un solo token, mientras que palabras largas o poco comunes pueden dividirse en dos o más tokens.
Entender los tokens es fundamental por dos razones. Primero, cada modelo tiene una ventana de contexto medida en tokens: la cantidad máxima de texto que puede considerar de una vez. Según el modelo, la ventana de contexto va de decenas de miles a alrededor de un millón de tokens. Segundo, la mayoría de las API de LLM cobran por token consumido (entrada + salida), por lo que la gestión de tokens impacta directamente en el costo.
Como regla general: 1,000 tokens ≈ 750 palabras o unos 1,500 caracteres. Un correo electrónico empresarial típico ocupa entre 200 y 400 tokens. Un artículo de investigación extenso puede superar los 8,000 tokens. Al desarrollar aplicaciones de IA, el diseño de prompts implica gestionar cuidadosamente el uso de tokens para maximizar la eficiencia del contexto y controlar los costos.
Un ejemplo concreto. La frase "Los tokens no son palabras" puede dividirse en piezas como "Los", " tok", "ens", " no", " son", " pal" y "abras": siete tokens para cinco palabras. El espacio inicial suele ir pegado al token, las palabras frecuentes ocupan un solo token y las raras se parten en varios. Por eso el mismo texto da recuentos distintos en modelos distintos: cada familia de modelos usa su propio tokenizador. Para saber el número exacto hay que contarlo con la herramienta del proveedor, no con una regla general.
Qué son los tokens en Claude. Claude, el modelo de Anthropic, funciona igual: lee tu mensaje, los archivos adjuntos y toda la conversación anterior como tokens, y genera la respuesta token a token. Tiene su propio tokenizador, así que un texto no ocupa los mismos tokens en Claude que en ChatGPT. En la API de Anthropic se paga por tokens de entrada y de salida por separado, y existe un endpoint de recuento (count_tokens) para saber cuántos tokens ocupa una petición antes de enviarla. En la app de Claude no ves los tokens, pero cuentan igual: como el modelo vuelve a leer toda la conversación en cada mensaje, las conversaciones largas y los documentos grandes consumen tu límite de uso más rápido. Empezar una conversación nueva para un tema nuevo es la forma más sencilla de gastar menos.
Tokens de entrada, de salida y de razonamiento. Los tokens de entrada son lo que envías (instrucciones, historial, documentos); los de salida, lo que el modelo escribe, y suelen costar varias veces más. Los modelos que piensan antes de responder generan además tokens de razonamiento, que se cobran como salida aunque no siempre se muestren. Para gastar menos: envía solo el contexto necesario, pide respuestas concisas y reutiliza el contexto fijo con caché de prompts cuando el proveedor lo ofrezca.
Cómo GAIA usa Token
GAIA gestiona el uso de tokens en todas sus llamadas a modelos de lenguaje para equilibrar capacidad y coste. Cuando una conversación o un hilo de correo largo se acerca al límite de la ventana de contexto, GAIA resume y compacta el historial anterior para seguir dentro del límite sin perder lo importante. También elige el nivel de modelo adecuado para cada tarea, desde modelos ligeros para tareas sencillas hasta modelos avanzados para razonamientos complejos, en parte según los tokens que necesita cada operación.
Conceptos relacionados
Modelo de Lenguaje Grande (LLM)
Un Modelo de Lenguaje Grande (LLM) es un modelo de inteligencia artificial entrenado con grandes cantidades de datos de texto capaz de comprender, generar y razonar sobre el lenguaje humano con notable fluidez.
Ventana de contexto
La ventana de contexto es la cantidad máxima de tokens que un modelo de lenguaje puede procesar en una única inferencia, abarcando el prompt del sistema, el historial de conversación, los documentos recuperados y la salida generada.
Ingeniería de prompts
La ingeniería de prompts es la práctica de diseñar y refinar entradas para los modelos de lenguaje de IA, a fin de provocar de manera confiable salidas deseadas, moldeando el comportamiento del modelo sin modificar sus parámetros subyacentes.
Alucinación
La alucinación en IA es el fenómeno en el que un modelo de lenguaje genera información que suena confiable pero que es incorrecta, fabricada o carente de sentido y que no está respaldada por los datos de entrada o de entrenamiento.
Ajuste fino
El ajuste fino es el proceso de tomar un modelo de IA preentrenado y continuar su entrenamiento con un conjunto de datos más pequeño y específico para adaptar su comportamiento a un dominio o aplicación particular.
