강화 학습
강화 학습(RL)은 에이전트가 원하는 결과를 내는 행동에는 보상 신호를 받고, 원치 않은 결과에는 페널티 신호를 받으면서 의사 결정을 학습하는 머신러닝 패러다임입니다.
이해하기 강화 학습
강화 학습에서는 에이전트가 환경과 상호작용하며 행동을 선택하고, 그 행동에 따라 보상이나 페널티를 받으면서 누적 보상을 최대화할 수 있는 정책을 학습합니다. 지도 학습(레이블이 있는 예시로부터 학습)과 달리, RL은 경험과 피드백을 통해 학습합니다. RL은 알파고, OpenAI Five와 같은 게임 분야와 로봇공학에서 놀라운 성과를 냈습니다. 하지만 AI 어시스턴트에서 가장 큰 영향은 인간 피드백을 활용한 강화 학습(RLHF)으로 나타납니다. 이는 최신 LLM이 더 유용하고 무해하며 정직하게 되도록 훈련되는 방식을 의미합니다. RLHF는 다음과 같은 과정으로 이루어집니다: 인간 평가자가 여러 출력물을 비교해 더 나은 결과를 고릅니다. 보상 모델이 인간의 선호를 예측하도록 훈련되고, LLM은 이 보상 모델의 점수를 최대화하기 위해 RL로 파인튜닝됩니다. 이 과정은 지도 학습만으로는 얻을 수 없는, 인간의 가치에 더 부합하는 모델 행동을 끌어냅니다. AI 어시스턴트에게 RL은 핵심적인 행동을 형성합니다. 회피하기보다는 도움을 주고, 아첨하기보다는 정직하며, 해로운 요청은 거절하고, 지나친 자신감보다는 적절히 신중한 답변을 제공하도록 만드는 것입니다.
GAIA 활용 방법 강화 학습
GAIA는 RLHF를 통해 훈련된 LLM(Claude, GPT-4)에서 큰 이점을 얻습니다. RLHF를 통해 주입된 도움을 주려는 태도, 과도하게 맞장구치지 않음, 불확실성에 대한 정직한 답변, 적절한 거절 등은 GAIA의 기반 모델이 어떻게 행동하는지의 핵심입니다.
관련 개념
파인튜닝
파인튜닝은 사전 학습된 AI 모델을 가지고 비교적 작은 규모의 작업 특화 데이터셋으로 추가 학습하여, 특정 도메인이나 애플리케이션에 맞게 모델의 동작을 조정하는 과정입니다.
파운데이션 모델
파운데이션 모델은 대규모로 다양한 데이터를 학습해, 파인튜닝·프롬프트·애플리케이션 통합 등을 통해 여러 downstream 작업에 적응할 수 있는 대형 AI 모델입니다.
AI 정렬
AI 정렬은 AI 시스템이 더욱 강력하고 자율적이 되더라도 인간의 가치와 의도에 부합하며, 유익하고 안전한 목표를 추구하도록 보장하는 연구 및 엔지니어링 분야입니다.
대형 언어 모델 (LLM)
대형 언어 모델(LLM)은 방대한 텍스트 데이터셋으로 훈련되어, 다양한 작업에서 인간의 언어를 이해하고 생성하며 추론할 수 있는 딥러닝 모델입니다.
휴먼 인 더 루프(Human-in-the-Loop)
휴먼 인 더 루프(HITL)는 AI 시스템이 중요한 의사결정 단계에서 인간의 감독과 승인을 반드시 포함하도록 설계된 패턴입니다. 민감하거나 영향이 큰 작업은 실행 전 반드시 인간의 확인을 받게 되어 있습니다.
