로컬 LLM
로컬 LLM은 대규모 언어 모델을 외부 API 공급자에게 데이터를 보내지 않고, 노트북·워크스테이션·셀프호스팅 서버 등 자신의 하드웨어에서 완전히 실행하는 방식입니다.
이해하기 로컬 LLM
클라우드 기반 LLM(GPT-4, Claude, Gemini 등)은 입력 프롬프트를 외부 인프라에서 처리합니다. 전달한 이메일 내용, 작업 설명, 문서 텍스트 등 모든 데이터가 클라우드 서버로 전송되어 처리됩니다. 민감한 정보를 다루는 경우 프라이버시와 준법 위험이 발생할 수 있습니다. 로컬 LLM을 사용하면 이러한 데이터 노출이 없습니다. Llama 3, Mistral, Gemma, Phi와 같은 모델은 Ollama, LM Studio, llama.cpp 같은 도구를 이용해 자신의 하드웨어에서 완전히 실행할 수 있습니다. 데이터가 절대 외부로 나가지 않습니다. 단점은 성능과 속도로, 로컬 모델은 최첨단 클라우드 모델에 비해 일반적으로 기능이 제한되거나 속도가 느릴 수 있으며, 대형 모델을 실행하려면 강력한 GPU가 필요합니다. 그러나 로컬과 클라우드 LLM의 격차는 빠르게 줄어들고 있습니다. Llama 3 70B는 많은 작업에서 GPT-4와 유사한 품질을 보입니다. 양자화 기술을 적용하면 모델 크기를 크게 줄일 수 있어, 70B 모델도 4비트 양자화 시 일반 사용자의 하드웨어에서 실행 가능합니다. 특정 도메인이나 프라이버시가 중요한 작업의 경우 로컬 LLM의 활용도는 점점 더 높아지고 있습니다. 이제는 하이브리드 방식도 등장하고 있습니다. 민감하거나 개인적인 정보 처리는 로컬 LLM으로, 최대 성능이 필요한 작업이나 데이터가 덜 민감한 경우에는 클라우드 LLM을 함께 활용하는 방식입니다.
GAIA 활용 방법 로컬 LLM
GAIA는 Ollama 및 호환되는 로컬 모델 서버를 통해 로컬 LLM 구성을 지원합니다. 로컬 LLM으로 설정하면, GAIA는 모든 개인 데이터(이메일, 업무, 캘린더 일정)를 사용자의 인프라 내에서만 처리하므로 데이터가 외부로 전송되지 않습니다. 이는 민감한 정보 처리에 최적화된 최대 수준의 프라이버시 설정입니다.
관련 개념
셀프 호스팅
셀프 호스팅은 클라우드 기반 서비스 대신, 사용자가 직접 소프트웨어를 본인 소유의 서버나 인프라에 설치해 운영하는 방식으로, 데이터와 설정, 서비스의 가용성까지도 완전한 통제권을 갖게 됩니다.
데이터 주권
데이터 주권은 데이터가 저장된 관할 지역의 법률과 거버넌스가 적용되며, 개인 및 조직이 자신의 데이터가 어디에 저장되고 누가 접근할 수 있는지를 결정할 권리를 가진다는 원칙입니다.
대형 언어 모델 (LLM)
대형 언어 모델(LLM)은 방대한 텍스트 데이터셋으로 훈련되어, 다양한 작업에서 인간의 언어를 이해하고 생성하며 추론할 수 있는 딥러닝 모델입니다.
오픈 소스 AI
오픈 소스 AI란, 소스 코드가 공개되어 누구나 프로젝트를 검토, 수정, 배포, 기여할 수 있는 인공지능 소프트웨어를 말합니다.
파운데이션 모델
파운데이션 모델은 대규모로 다양한 데이터를 학습해, 파인튜닝·프롬프트·애플리케이션 통합 등을 통해 여러 downstream 작업에 적응할 수 있는 대형 AI 모델입니다.
