LLM local
Un LLM local es un modelo de lenguaje grande que se ejecuta completamente en tu propio hardware — ya sea un portátil, estación de trabajo o servidor autohospedado — sin enviar datos a proveedores externos de APIs.
Comprendiendo LLM local
Los LLMs en la nube (GPT-4, Claude, Gemini) procesan tus solicitudes en infraestructura externa. Cada consulta que envías incluye tus datos — contenido de correo electrónico, descripciones de tareas, texto de documentos — que viajan y se procesan en los servidores del proveedor. Para datos sensibles, esto puede generar preocupaciones de privacidad y cumplimiento. Los LLMs locales eliminan esta exposición de datos. Modelos como Llama 3, Mistral, Gemma y Phi se ejecutan completamente en tu propio hardware usando herramientas como Ollama, LM Studio o llama.cpp. Tus datos nunca salen de tu máquina. El equilibrio está en la capacidad y la velocidad: por lo general, los modelos locales son menos potentes que los modelos avanzados en la nube, y ejecutar modelos grandes requiere hardware gráfico potente. La brecha entre los LLMs locales y en la nube se está reduciendo rápidamente. Llama 3 70B se acerca a la calidad de GPT-4 en muchas tareas. Las técnicas de cuantización reducen drásticamente el tamaño de los modelos: un modelo de 70B puede funcionar en hardware de consumo al cuantizarse a precisión de 4 bits. Para dominios y tareas específicos (especialmente aquellos que requieren privacidad), los LLMs locales son cada vez más viables. Están surgiendo enfoques híbridos: usar un LLM local para procesar datos personales y sensibles, y un LLM en la nube para tareas que requieren máxima capacidad donde los datos no son tan delicados.
Cómo GAIA usa LLM local
GAIA admite configuraciones de LLM local a través de Ollama y servidores de modelos locales compatibles. Cuando se configura con un LLM local, GAIA procesa todos los datos personales (correos electrónicos, tareas, eventos de calendario) íntegramente en tu infraestructura: ningún dato sale de tu entorno. Esta es la configuración de máxima privacidad para usuarios que manejan información sensible.
Conceptos relacionados
Autoalojamiento
El autoalojamiento es la práctica de ejecutar el software en tus propios servidores o infraestructura, en vez de utilizar un servicio alojado en la nube, otorgándote control total sobre tus datos, configuración y disponibilidad.
Soberanía de los datos
La soberanía de los datos es el principio de que los datos están sujetos a las leyes y gobernanza de la jurisdicción donde se almacenan, y que las personas y organizaciones tienen derecho a controlar dónde residen sus datos y quién tiene acceso a ellos.
Modelo de lenguaje grande (LLM)
Un modelo de lenguaje grande (LLM) es un modelo de aprendizaje profundo entrenado con enormes conjuntos de datos textuales que puede comprender, generar y razonar sobre el lenguaje humano en una amplia variedad de tareas.
IA de Código Abierto
La IA de código abierto se refiere a software de inteligencia artificial cuyo código fuente está disponible públicamente, permitiendo que cualquier persona inspeccione, modifique, distribuya y contribuya al proyecto.
Modelo fundacional
Un modelo fundacional es un gran modelo de IA entrenado a escala con datos amplios que puede adaptarse a una amplia variedad de tareas mediante ajuste fino, indicaciones o integración en arquitecturas de aplicaciones.
