전이 학습
전이 학습은 한 작업이나 도메인에서 훈련된 모델을 새로운, 하지만 관련된 과제로 적응시키며 기존 지식을 활용하는 머신러닝 기법입니다. 즉, 처음부터 다시 훈련하지 않고 기존의 학습 경험을 활용합니다.
이해하기 전이 학습
대규모 모델을 처음부터 훈련하려면 방대한 데이터, 연산 자원, 시간이 필요합니다. 전이 학습은 이미 언어, 이미지 등 다양한 도메인을 이해하는 사전 학습된 모델에서 시작해, 특정 과제에 맞춘 데이터로 추가 학습(파인튜닝)함으로써 개발 비용을 크게 줄입니다. 현대 LLM 생태계는 전이 학습에 기반해 있습니다. GPT-4, Claude, Llama 등은 인터넷의 방대한 텍스트 데이터로 일반 언어 이해를 학습한 뒤, 지시 따르기(Instruction Following) 데이터로 파인튜닝되어 유용한 AI 도우미가 됩니다. 이후 의료, 법률, 코딩 등 특화 도메인에서 추가 학습하면 전문화된 변형 모델들이 만들어집니다. 전이 학습이 효과적인 이유는 지식이 일반화되기 때문입니다. 수십억 개의 영어 문장으로 훈련된 모델은 문법, 상식, 추론 능력을 습득하는데, 이 지식이 새로운 과제에도 적용됩니다. 사전 훈련된 표현은 다양한 용도에 도움이 되는 근본적인 구조를 담고 있습니다. AI 도우미 사용자들에게 전이 학습은 LLM이 특별히 학습되지 않은 작업에서도 유용할 수 있는 이유를 설명해줍니다. 폭넓은 사전 학습 기반 덕분에, 새롭거나 낯선 과제와 도메인도 효과적으로 다룰 수 있습니다.
GAIA 활용 방법 전이 학습
GAIA는 처음부터 모델을 학습하는 대신, 사전 학습된 기반 모델 위에 전이 학습을 적용합니다. GAIA가 사용하는 LLM(Claude, GPT-4, Llama)들은 사전 학습을 통해 광범위한 세계 지식, 추론 능력, 언어 능력을 갖추고 있습니다. GAIA는 추가 학습 대신 프롬프트 엔지니어링과 툴 통합을 통해 이러한 능력을 생산성 워크플로우에 맞게 조정합니다.
관련 개념
파인튜닝
파인튜닝은 사전 학습된 AI 모델을 가지고 비교적 작은 규모의 작업 특화 데이터셋으로 추가 학습하여, 특정 도메인이나 애플리케이션에 맞게 모델의 동작을 조정하는 과정입니다.
파운데이션 모델
파운데이션 모델은 대규모로 다양한 데이터를 학습해, 파인튜닝·프롬프트·애플리케이션 통합 등을 통해 여러 downstream 작업에 적응할 수 있는 대형 AI 모델입니다.
대형 언어 모델 (LLM)
대형 언어 모델(LLM)은 방대한 텍스트 데이터셋으로 훈련되어, 다양한 작업에서 인간의 언어를 이해하고 생성하며 추론할 수 있는 딥러닝 모델입니다.
프롬프트 엔지니어링
프롬프트 엔지니어링은 원하는 결과를 신뢰성 있게 끌어내기 위해 AI 언어 모델에 입력을 설계하고 다듬는 실천으로, 기본 가중치 자체를 수정하지 않고도 모델의 행동을 조정할 수 있습니다.
퓨샷 러닝
퓨샷 러닝은 AI 모델이 가중치 업데이트 없이 프롬프트에 제공된 소수의 입력-출력 예제만으로 새로운 작업이나 출력 형식에 적응하는 능력을 의미합니다.
