헌법적 AI
헌법적 AI(CAI)는 Anthropic이 개발한 훈련 방법론으로, AI가 인간의 가치에 맞도록 스스로의 출력 결과를 '헌법'이라 불리는 원칙 세트에 따라 평가 및 수정하게 함으로써, 오로지 인간 라벨링 데이터에만 의존하지 않고 모델을 정렬시키는 방식입니다.
이해하기 헌법적 AI
2022년 Anthropic에서 도입한 Constitutional AI(헌법적 인공지능)는 RLHF(인간 피드백 기반 강화학습)의 확장성 한계를 해결하기 위해 고안되었습니다. 모델의 능력이 향상될수록 인간 평가자가 어떤 출력이 더 나은지 신뢰성 있게 판단하기가 어려워지기 때문입니다. CAI는 일부 인간 피드백을 AI 피드백으로 대체합니다. 모델이 헌법적 원칙(예: '이 답변이 해로운가?', '이 답변이 정직한가?')에 따라 자신의 답변을 스스로 평가하고 수정하도록 유도하는 방식입니다. 이 과정은 두 가지 주요 단계로 이루어집니다. 지도학습 단계에서는 모델이 답변을 생성한 뒤, 헌법적 원칙에 따라 평가하고, 이를 수정해 개선된 답변의 합성 데이터셋을 만듭니다. RLAIF(AI 피드백 기반 강화학습) 단계에서는 별도의 AI 모델이 AI가 생성한 비교 데이터를 활용해 선호도 모델로 훈련되며, 이 모델을 이용해 기본 모델을 강화학습으로 미세 조정합니다. 여기서 '헌법'은 인간이 작성한 문서, 즉 AI가 해야 할 일과 하지 말아야 할 일을 정의한 원칙의 목록입니다. Anthropic의 헌법은 UN 세계인권선언이나 기존 AI 윤리 프레임워크 등 다양한 자료를 참고해 제작되었습니다. 인간의 암묵적 선호 평가 대신, 언어로 가치 기준을 명시함으로써 CAI는 정렬(alignment) 과정을 더 해석 가능하고 조정하기 쉽게 만듭니다. Constitutional AI는 주로 Claude 등 Anthropic의 AI 모델 계열에서 널리 쓰이고 있습니다. RLHF를 완전히 대체한다기보다, 실제로는 두 기법이 함께 사용됩니다.
GAIA 활용 방법 헌법적 AI
GAIA는 Anthropic의 Constitutional AI로 훈련된 Claude 모델 계열에서 구동되도록 설정할 수 있습니다. 이로써 CAI의 안전성과 유용성 보장이 GAIA의 자율 운영에 적용됩니다. GAIA가 이메일, 캘린더, 작업 시스템 등에서 민감한 개인정보를 관리할 때, 모델의 정렬—즉 해로운 행동을 자제하거나 사용자 프라이버시 침해를 거부하는 원칙—이 GAIA의 자율적 의사결정 기준에 직접적으로 반영됩니다.
관련 개념
인간 피드백을 활용한 강화 학습(RLHF)
인간 피드백을 활용한 강화 학습(RLHF)은 AI 모델이 인간이 선호하는 결과를 생성하도록 훈련하는 기계 학습 기법으로, 원시 데이터만 사용하는 것이 아니라 인간이 제공한 순위 또는 평점을 학습에 활용합니다.
휴먼 인 더 루프(Human-in-the-Loop)
휴먼 인 더 루프(HITL)는 AI 시스템이 중요한 의사결정 단계에서 인간의 감독과 승인을 반드시 포함하도록 설계된 패턴입니다. 민감하거나 영향이 큰 작업은 실행 전 반드시 인간의 확인을 받게 되어 있습니다.
대형 언어 모델 (LLM)
대형 언어 모델(LLM)은 방대한 텍스트 데이터셋으로 훈련되어, 다양한 작업에서 인간의 언어를 이해하고 생성하며 추론할 수 있는 딥러닝 모델입니다.
파인튜닝
파인튜닝은 사전 학습된 AI 모델을 가지고 비교적 작은 규모의 작업 특화 데이터셋으로 추가 학습하여, 특정 도메인이나 애플리케이션에 맞게 모델의 동작을 조정하는 과정입니다.
AI 에이전트
AI 에이전트는 환경을 인지하고, 무엇을 해야 할지 스스로 판단하며, 지속적인 인간의 지시 없이 특정 목표를 달성하기 위해 행동하는 자율 소프트웨어 시스템입니다.
