LLM local
Un LLM local es un modelo de lenguaje grande que se ejecuta completamente en tu propio hardware — ya sea un portátil, estación de trabajo o servidor autohospedado — sin enviar datos a proveedores externos de APIs.
Comprendiendo LLM local
Los LLMs en la nube (GPT-4, Claude, Gemini) procesan tus solicitudes en infraestructura externa. Cada consulta que envías incluye tus datos — contenido de correo electrónico, descripciones de tareas, texto de documentos — que viajan y se procesan en los servidores del proveedor. Para datos sensibles, esto puede generar preocupaciones de privacidad y cumplimiento.
Los LLMs locales eliminan esta exposición de datos. Modelos como Llama 3, Mistral, Gemma y Phi se ejecutan completamente en tu propio hardware usando herramientas como Ollama, LM Studio o llama.cpp. Tus datos nunca salen de tu máquina. El equilibrio está en la capacidad y la velocidad: por lo general, los modelos locales son menos potentes que los modelos avanzados en la nube, y ejecutar modelos grandes requiere hardware gráfico potente.
La brecha entre los LLMs locales y en la nube se está reduciendo rápidamente. Llama 3 70B se acerca a la calidad de GPT-4 en muchas tareas. Las técnicas de cuantización reducen drásticamente el tamaño de los modelos: un modelo de 70B puede funcionar en hardware de consumo al cuantizarse a precisión de 4 bits. Para dominios y tareas específicos (especialmente aquellos que requieren privacidad), los LLMs locales son cada vez más viables.
Están surgiendo enfoques híbridos: usar un LLM local para procesar datos personales y sensibles, y un LLM en la nube para tareas que requieren máxima capacidad donde los datos no son tan delicados.
Cómo GAIA usa LLM local
GAIA no ejecuta LLM locales ni se puede conectar a un servidor de modelos local como Ollama o LM Studio. Funciona con modelos alojados de proveedores compatibles, y una instalación autoalojada también necesita una clave de API de uno de ellos (OpenAI o Google Gemini). Autoalojar GAIA con Docker mantiene sus bases de datos y servicios, incluidos tus datos de correo, tareas y calendario, en tu propia infraestructura, pero cada petición al modelo se sigue enviando al proveedor que elijas. Si todo debe quedarse en tu equipo, usa directamente una herramienta local como Ollama o LM Studio.
Conceptos relacionados
Autoalojamiento
El autoalojamiento es la práctica de ejecutar el software en tus propios servidores o infraestructura, en vez de utilizar un servicio alojado en la nube, otorgándote control total sobre tus datos, configuración y disponibilidad.
Soberanía de los datos
La soberanía de los datos es el principio de que los datos están sujetos a las leyes y gobernanza de la jurisdicción donde se almacenan, y que las personas y organizaciones tienen derecho a controlar dónde residen sus datos y quién tiene acceso a ellos.
Modelo de Lenguaje Grande (LLM)
Un Modelo de Lenguaje Grande (LLM) es un modelo de inteligencia artificial entrenado con grandes cantidades de datos de texto capaz de comprender, generar y razonar sobre el lenguaje humano con notable fluidez.
IA de Código Abierto
La IA de código abierto se refiere a software de inteligencia artificial cuyo código fuente está disponible públicamente, permitiendo que cualquier persona inspeccione, modifique, distribuya y contribuya al proyecto.
Modelo fundacional
Un modelo fundacional es un gran modelo de IA entrenado a escala con datos amplios que puede adaptarse a una amplia variedad de tareas mediante ajuste fino, indicaciones o integración en arquitecturas de aplicaciones.
