환각
AI 환각이란, 언어모델이 입력이나 학습 데이터에 근거하지 않은 사실과는 다른, 허구 또는 무의미한 정보를 자신 있게 생성하는 현상을 말합니다.
이해하기 환각
환각은 대규모 언어모델을 배치하는 데 있어 가장 큰 과제 중 하나입니다. LLM은 데이터베이스에서 사실을 조회하지 않고, 학습 중에 습득한 통계적 패턴을 기반으로 다음 토큰을 예측합니다. 만약 학습 데이터에 없는 정보나 지식의 경계에 대해 질문을 받으면, 모델은 그럴듯하지만 사실과 다른 정보를 자신감 있게 생성할 수 있습니다. 환각은 미묘한 사실 오류(잘못된 날짜, 틀린 통계)부터 완전한 허구(가짜 인용, 존재하지 않는 인물, 실제로 없는 제품 특징 등)에 이르기까지 다양하게 나타납니다. 문제는 모델의 자신감 있는 표현 때문에 정보의 진위 여부를 사용자가 알기 어렵다는 점입니다. 환각 발생 위험을 높이는 요인으로는, 모델이 학습하지 않은 구체적인 사실 요청, 잘 알려지지 않은 개체에 대한 정보 요청, 오류를 유도하는 방향의 질문, 충분하지 않은 맥락 제공 등이 있습니다. 샘플링 온도를 낮추면 환각이 줄 수 있지만 완전히 방지할 수는 없습니다. 주요 대응 전략은 그라운딩과 RAG입니다. 그라운딩은 모델에 소스 문서를 제공하고, 답변을 반드시 그 내용에 기반해 작성하도록 하는 방법입니다. RAG는 생성 전에 관련 문서를 불러와 모델이 정확한 정보를 참고할 수 있게 합니다. 이러한 기술은 특히 사실 질의 작업에서 효과적입니다.
GAIA 활용 방법 환각
GAIA는 검색된 데이터에 기반해 답변을 생성함으로써 환각을 최소화합니다. 이메일, 할 일, 프로젝트 관련 질문에 답할 때 GAIA는 먼저 ChromaDB에서 관련된 콘텐츠를 가져와 프롬프트의 맥락으로 삽입합니다. LLM은 일반 지식이 아닌 검색된 데이터에 근거해 답변하도록 지시되어, 생산성이 중요한 환경에서 잘못된 정보가 생성될 위험을 크게 줄입니다.
관련 개념
검색 증강 생성(RAG)
검색 증강 생성(RAG)은 외부 지식 기반에서 관련 문서나 데이터를 먼저 검색하고 그 컨텍스트를 모델 프롬프트에 주입하여, LLM 응답을 더욱 향상시키는 기법입니다.
프롬프트 엔지니어링
프롬프트 엔지니어링은 원하는 결과를 신뢰성 있게 끌어내기 위해 AI 언어 모델에 입력을 설계하고 다듬는 실천으로, 기본 가중치 자체를 수정하지 않고도 모델의 행동을 조정할 수 있습니다.
대형 언어 모델 (LLM)
대형 언어 모델(LLM)은 방대한 텍스트 데이터를 학습해 인간의 언어를 놀라울 정도로 자연스럽게 이해하고 생성하며 추론할 수 있는 인공지능 모델입니다.
컨텍스트 윈도우
컨텍스트 윈도우는 시스템 프롬프트, 대화 내역, 검색 문서, 생성 결과를 포함하여 한 번의 추론 호출에서 언어 모델이 처리할 수 있는 최대 토큰 수를 의미합니다.
대형 언어 모델 (LLM)
대형 언어 모델(LLM)은 방대한 텍스트 데이터셋으로 훈련되어, 다양한 작업에서 인간의 언어를 이해하고 생성하며 추론할 수 있는 딥러닝 모델입니다.
