로컬 LLM (로컬 AI 모델)
로컬 AI 모델(로컬 LLM)은 클라우드 서버가 아니라 내 노트북, 데스크톱, 사내 서버에서 직접 실행하는 AI 언어 모델입니다. 공개된 모델 파일을 내려받아 Ollama, LM Studio, llama.cpp 같은 실행 도구로 돌리기 때문에 프롬프트와 문서가 외부로 전송되지 않고, 모델을 받은 뒤에는 인터넷 연결 없이도 쓸 수 있습니다.
이해하기 로컬 LLM (로컬 AI 모델)
클라우드 기반 LLM(GPT-4, Claude, Gemini 등)은 입력 프롬프트를 외부 인프라에서 처리합니다. 전달한 이메일 내용, 작업 설명, 문서 텍스트 등 모든 데이터가 클라우드 서버로 전송되어 처리됩니다. 민감한 정보를 다루는 경우 프라이버시와 준법 위험이 발생할 수 있습니다.
로컬 LLM을 사용하면 이러한 데이터 노출이 없습니다. Llama 3, Mistral, Gemma, Phi와 같은 모델은 Ollama, LM Studio, llama.cpp 같은 도구를 이용해 자신의 하드웨어에서 완전히 실행할 수 있습니다. 데이터가 절대 외부로 나가지 않습니다. 단점은 성능과 속도로, 로컬 모델은 최첨단 클라우드 모델에 비해 일반적으로 기능이 제한되거나 속도가 느릴 수 있으며, 대형 모델을 실행하려면 강력한 GPU가 필요합니다.
그러나 로컬과 클라우드 LLM의 격차는 빠르게 줄어들고 있습니다. Llama 3 70B는 많은 작업에서 GPT-4와 유사한 품질을 보입니다. 양자화 기술을 적용하면 모델 크기를 크게 줄일 수 있어, 70B 모델도 4비트 양자화 시 일반 사용자의 하드웨어에서 실행 가능합니다. 특정 도메인이나 프라이버시가 중요한 작업의 경우 로컬 LLM의 활용도는 점점 더 높아지고 있습니다.
이제는 하이브리드 방식도 등장하고 있습니다. 민감하거나 개인적인 정보 처리는 로컬 LLM으로, 최대 성능이 필요한 작업이나 데이터가 덜 민감한 경우에는 클라우드 LLM을 함께 활용하는 방식입니다.
로컬 AI 모델을 시작하는 가장 쉬운 방법은 두 가지입니다. 명령어에 익숙하다면 Ollama를 설치하고 'ollama run <모델 이름>'으로 모델을 내려받아 바로 대화할 수 있습니다. Ollama는 localhost:11434에서 OpenAI 호환 API도 제공하므로, 같은 형식을 쓰는 앱과 스크립트를 로컬 모델에 연결할 수 있습니다. 화면에서 고르고 싶다면 LM Studio에서 모델을 검색해 내려받고 채팅 창에서 실행하면 됩니다.
모델 크기는 메모리에 맞춰 고릅니다. 4비트 양자화 기준으로 7~8B 모델은 약 4~5GB, 13B 모델은 약 8GB, 70B 모델은 약 40GB의 메모리(GPU VRAM 또는 Apple Silicon 통합 메모리)가 필요합니다. 한국어 성능은 모델마다 차이가 크므로, Qwen이나 Gemma 같은 다국어 모델, LG AI연구원의 EXAONE처럼 한국어 데이터로 학습된 공개 모델을 직접 비교해 보는 것이 좋습니다.
로컬 LLM 활용 예시로는 사내 문서 요약과 검색, 개인 메모 정리, 인터넷이 안 되는 환경에서의 번역과 초안 작성, 외부로 보낼 수 없는 코드에 대한 코딩 보조가 있습니다. 반대로 복잡한 추론, 매우 긴 문서, 여러 도구를 차례로 호출하는 에이전트 작업은 아직 최상위 클라우드 모델이 확실히 앞섭니다.
'로컬 LLM 학습'이라고 할 때 대부분은 모델을 처음부터 만드는 것이 아니라, 이미 공개된 모델에 내 데이터를 반영하는 일을 뜻합니다. 방법은 두 가지입니다. RAG는 질문할 때마다 관련 문서를 검색해 프롬프트에 넣는 방식으로, 모델을 바꾸지 않아 가장 간단합니다. 파인튜닝은 LoRA나 QLoRA로 모델 가중치 일부를 추가 학습하는 방식으로, 7~8B 모델이라면 24GB VRAM급 소비자용 GPU 한 장으로도 가능합니다. 문서 내용을 답에 담고 싶다면 RAG, 말투나 출력 형식을 바꾸고 싶다면 파인튜닝이 맞습니다.
GAIA 활용 방법 로컬 LLM (로컬 AI 모델)
GAIA는 로컬 LLM을 실행하지 않으며 Ollama 같은 로컬 모델 서버도 지원하지 않습니다. GAIA는 클라우드에서 제공되는 LLM으로 동작하고, 셀프호스팅할 때도 OpenAI나 Google Gemini 같은 지원 공급자의 API 키가 필요합니다. Docker로 셀프호스팅하면 GAIA의 데이터베이스와 서비스(이메일, 할 일, 캘린더 데이터 포함)는 내 인프라에 두지만, 모델 추론 요청은 선택한 LLM 공급자로 전송됩니다. 모든 처리를 내 기기 안에서 끝내야 한다면 Ollama나 LM Studio 같은 로컬 도구를 직접 쓰는 것이 맞습니다.
관련 개념
셀프 호스팅
셀프 호스팅은 클라우드 기반 서비스 대신, 사용자가 직접 소프트웨어를 본인 소유의 서버나 인프라에 설치해 운영하는 방식으로, 데이터와 설정, 서비스의 가용성까지도 완전한 통제권을 갖게 됩니다.
데이터 주권
데이터 주권은 데이터가 저장된 관할 지역의 법률과 거버넌스가 적용되며, 개인 및 조직이 자신의 데이터가 어디에 저장되고 누가 접근할 수 있는지를 결정할 권리를 가진다는 원칙입니다.
대형 언어 모델 (LLM)
대형 언어 모델(LLM)은 방대한 텍스트 데이터를 학습해 인간의 언어를 놀라울 정도로 자연스럽게 이해하고 생성하며 추론할 수 있는 인공지능 모델입니다.
오픈 소스 AI
오픈 소스 AI란, 소스 코드가 공개되어 누구나 프로젝트를 검토, 수정, 배포, 기여할 수 있는 인공지능 소프트웨어를 말합니다.
파운데이션 모델
파운데이션 모델은 대규모로 다양한 데이터를 학습해, 파인튜닝·프롬프트·애플리케이션 통합 등을 통해 여러 downstream 작업에 적응할 수 있는 대형 AI 모델입니다.
