트랜스포머
트랜스포머는 2017년에 소개된 신경망 구조로, 시퀀스 데이터를 병렬로 처리하기 위해 셀프 어텐션 메커니즘을 사용하며, 모든 현대 대형 언어 모델의 기반을 이룹니다.
이해하기 트랜스포머
트랜스포머가 등장하기 전에는 순환 신경망(RNN)을 이용해 텍스트를 한 토큰씩 순차적으로 처리했습니다. 트랜스포머는 셀프 어텐션 메커니즘을 도입해, 시퀀스 내 모든 토큰의 중요도를 동시에 계산할 수 있도록 구조적으로 혁신을 이루었습니다. 이러한 병렬 처리 능력 덕분에 훨씬 더 방대한 데이터셋에 대해 학습할 수 있게 되었고, 텍스트 내 장기 의존성까지 잘 포착할 수 있었습니다. 원래의 트랜스포머 논문 "Attention Is All You Need"(Vaswani 외, 2017)는 인코더-디코더 구조를 소개했습니다. 최신 LLM인 GPT는 디코더만, BERT는 인코더만을 사용합니다. 디코더 전용 구조는 특히 텍스트 생성 작업에서 매우 강력한 성능을 보이고 있습니다. 셀프 어텐션은 트랜스포머가 맥락적 관계를 이해할 수 있게 해줍니다. 예를 들어 'river bank'와 'bank account'에서 'bank'라는 단어는 주변 토큰에 따라 각각 다른 의미와 맥락을 가지게 됩니다. 이러한 컨텍스트 이해가 트랜스포머 기반 LLM이 이전 구조보다 언어 작업에 탁월한 이유입니다. 현재 트랜스포머는 텍스트를 넘어 이미지 처리용 비전 트랜스포머, 오디오 처리를 위한 오디오 트랜스포머, 여러 데이터 유형을 동시에 처리하는 멀티모달 트랜스포머 등으로 확장되고 있습니다. 이 구조는 사실상 모든 딥러닝 영역에서 표준 패러다임이 되었습니다.
GAIA 활용 방법 트랜스포머
GAIA의 추론 레이어를 구동하는 모든 LLM은 트랜스포머 아키텍처를 기반으로 구축됩니다. GAIA가 이메일을 읽거나, 워크플로우를 계획하거나, 답변을 작성할 때 트랜스포머의 어텐션 메커니즘 덕분에 모델은 긴 문서와 대화 내 맥락을 이해할 수 있습니다. 이러한 아키텍처적 기반이 GAIA가 복잡하고 다단계의 작업에서도 일관성 있는 이해를 유지할 수 있게 해줍니다.
관련 개념
대형 언어 모델 (LLM)
대형 언어 모델(LLM)은 방대한 텍스트 데이터셋으로 훈련되어, 다양한 작업에서 인간의 언어를 이해하고 생성하며 추론할 수 있는 딥러닝 모델입니다.
대형 언어 모델 (LLM)
대형 언어 모델(LLM)은 방대한 텍스트 데이터를 학습해 인간의 언어를 놀라울 정도로 자연스럽게 이해하고 생성하며 추론할 수 있는 인공지능 모델입니다.
신경망
신경망은 생물학적 신경계에서 영감을 받아 설계된 계산 모델로, 여러 계층의 노드가 서로 연결되어 있으며 연결 가중치를 조정하면서 입력 데이터를 출력으로 변환하는 방법을 학습합니다.
임베딩
임베딩은 텍스트, 이미지, 오디오 등 데이터를 의미와 관계를 표현하는 고차원, 밀집 수치 벡터로 변환한 것입니다.
컨텍스트 윈도우
컨텍스트 윈도우는 시스템 프롬프트, 대화 내역, 검색 문서, 생성 결과를 포함하여 한 번의 추론 호출에서 언어 모델이 처리할 수 있는 최대 토큰 수를 의미합니다.
