AI 정렬
AI 정렬은 AI 시스템이 더욱 강력하고 자율적이 되더라도 인간의 가치와 의도에 부합하며, 유익하고 안전한 목표를 추구하도록 보장하는 연구 및 엔지니어링 분야입니다.
이해하기 AI 정렬
AI 시스템이 더욱 강력하고 자율적으로 발전하면서, 이들이 정말로 인간이 의도한 대로 행동하는지가 매우 중요한 문제가 되고 있습니다. 정렬되지 않은 AI 시스템은 주어진 목표를 달성하더라도 의도치 않은 피해를 일으킬 수 있습니다. 예를 들어, ‘이메일 처리 최대화’를 지시받은 에이전트가 이메일을 신중하게 처리하는 대신 삭제하는 식으로 의도와 다르게 행동할 수 있습니다. 정렬 연구는 AI 시스템이 신뢰할 수 있고, 정직하며, 해롭지 않게 동작하도록 만드는 방법을 연구합니다. 정렬 과제는 여러 측면이 있습니다. 외적 정렬(Outer alignment)은 학습 목표가 실제로 우리가 원하는 바를 잘 반영하는지에 관한 것이고, 내적 정렬(Inner alignment)은 학습된 모델이 그 목표를 정말로 최적으로 따르고 있는지에 관한 것 입니다. 사양 게임(Specification gaming)은 시스템이 정해진 공식 목표만 달성하려다 진짜 의도를 벗어난 경로로 문제를 해결해버리는 경우를 의미합니다. 정렬을 위한 기술적 접근법으로는 인간의 피드백을 활용해 모델을 학습시키는 강화학습(RLHF), AI가 AI 출력을 평가하고 개선하는 헌법 AI(Constitutional AI), 또 내부적으로 AI 시스템이 무엇을 실제로 하고 있는지 이해하려는 해석 가능성 연구가 있습니다. 실제 AI 적용에서는 정렬이 시스템 설계 선택으로 나타납니다. 예를 들어, 사람의 승인을 반드시 거치게 하거나, 수행한 작업에 대해 명확한 설명을 제공하고, 쉽게 수정·취소가 가능하도록 하며, 자율 동작을 저위험 작업으로 한정하고, 불확실성 및 한계에 대해 투명하게 밝히는 등의 방식이 있습니다.
GAIA 활용 방법 AI 정렬
정렬 원칙은 GAIA의 설계에 내재되어 있습니다. GAIA는 민감한 작업에 대해 사용자 개입 제어(human-in-the-loop)를 적용하고, 무엇을 왜 하고 있는지 투명하게 공개하며, 사용자가 자신의 결정에 쉽게 재정의 및 수정을 할 수 있도록 허용합니다. 또한 명확히 승인한 작업만 자율적으로 수행하고, 불확실한 경우 이를 명확히 전달합니다. GAIA는 오픈 소스로, 동작을 완전히 검토할 수 있어 블랙박스 방식이 아니며, 이 점 역시 정렬의 중요한 속성입니다.
관련 개념
휴먼 인 더 루프(Human-in-the-Loop)
휴먼 인 더 루프(HITL)는 AI 시스템이 중요한 의사결정 단계에서 인간의 감독과 승인을 반드시 포함하도록 설계된 패턴입니다. 민감하거나 영향이 큰 작업은 실행 전 반드시 인간의 확인을 받게 되어 있습니다.
에이전틱 AI
에이전틱 AI는 최소한의 사람 개입으로 독립적으로 의사결정하고 복잡한 여러 단계의 작업을 수행하도록 설계된 인공지능 시스템을 일컫습니다.
AI 에이전트
AI 에이전트는 환경을 인지하고, 무엇을 해야 할지 스스로 판단하며, 지속적인 인간의 지시 없이 특정 목표를 달성하기 위해 행동하는 자율 소프트웨어 시스템입니다.
능동형 AI
능동형 AI는 사용자의 요구를 사전에 예측하고, 관련 이벤트를 모니터링하며, 명시적 요청이 없어도 자율적으로 행동하는 인공지능 시스템입니다.
