Local LLM
A local LLM is a large language model that runs entirely on your own hardware — a laptop, workstation, or self-hosted server — without sending data to external API providers.
理解する Local LLM
Cloud-based LLMs (GPT-4, Claude, Gemini) process your prompts on external infrastructure. Every query you send includes your data — email content, task descriptions, document text — which travels to and is processed by the provider's servers. For sensitive data, this creates privacy and compliance concerns.
Local LLMs eliminate this data exposure. Models like Llama 3, Mistral, Gemma, and Phi run entirely on your own hardware using tools like Ollama, LM Studio, or llama.cpp. Your data never leaves your machine. The tradeoff is capability and speed: local models are generally less capable than frontier cloud models, and running large models requires significant GPU hardware.
The gap between local and cloud LLMs is narrowing rapidly. Llama 3 70B approaches GPT-4 quality on many tasks. Quantization techniques reduce model sizes dramatically — a 70B model can run on consumer hardware when quantized to 4-bit precision. For specific domains and tasks (especially those requiring privacy), local LLMs are increasingly viable.
Hybrid approaches are emerging: use a local LLM for sensitive, personal data processing, and a cloud LLM for tasks requiring maximum capability where the data is less sensitive.
GAIAの活用方法 Local LLM
GAIAはローカルLLMを実行せず、OllamaやLM Studioのようなローカルのモデルサーバーにつなぐこともできません。対応プロバイダーがホストするモデルで動作し、セルフホストする場合もそのいずれか（OpenAIまたはGoogle Gemini）のAPIキーが必要です。Dockerでセルフホストすると、メール、タスク、カレンダーのデータを含むGAIAのデータベースとサービスは自分のインフラに置けますが、モデルへのリクエストは選んだプロバイダーに送信されます。すべてを自分のマシン内で完結させる必要があるなら、OllamaやLM Studioなどのローカルツールを直接使ってください。
関連概念
セルフホスティング
セルフホスティングとは、クラウドホストサービスを使用する代わりに独自のサーバーまたはインフラストラクチャでソフトウェアを実行する実践であり、データ、構成、および可用性に対する完全な制御をユーザーに提供します。
Data Sovereignty
Data sovereignty is the principle that data is subject to the laws and governance of the jurisdiction where it is stored, and that individuals and organizations have the right to control where their data resides and who has access to it.
大規模言語モデル（LLM）
大規模言語モデル（LLM）は、膨大なテキストデータでトレーニングされた人工知能モデルであり、人間のような流暢さで言語を理解、生成、推論できます。
オープンソースAI
オープンソースAIは、ソースコードが公開されており、誰でもプロジェクトを検査、変更、配布、および貢献できる人工知能ソフトウェアを指します。
Foundation Model
A foundation model is a large AI model trained on broad data at scale that can be adapted to a wide range of downstream tasks through fine-tuning, prompting, or integration into application architectures.
