신경망
신경망은 생물학적 신경계에서 영감을 받아 설계된 계산 모델로, 여러 계층의 노드가 서로 연결되어 있으며 연결 가중치를 조정하면서 입력 데이터를 출력으로 변환하는 방법을 학습합니다.
이해하기 신경망
신경망은 현대 AI의 기반입니다. 기본 신경망은 데이터를 받는 입력층, 가중 연결과 활성화 함수를 거쳐 데이터를 변환하는 하나 이상의 숨겨진 층, 그리고 예측이나 표현을 생성하는 출력층으로 이루어져 있습니다. 학습 과정에서 신경망은 출력값과 정답 간의 차이를 최소화하기 위해 가중치를 조절하며, 이를 역전파와 경사 하강법이라 부릅니다. 딥러닝은 숨겨진 층이 많은 신경망을 의미하며, 계층적으로 표현을 학습할 수 있습니다. 초기 층에서는 단순한 패턴을, 더 깊은 층에서는 보다 추상적인 개념을 결합해 인식합니다. 이러한 계층적 학습이 깊은 신경망을 다양한 과제에서 강력하게 만듭니다. 현대 AI 시스템은 특수한 신경망 구조를 사용합니다. 이미지는 합성곱 신경망(CNN), 연속 데이터는 순환 신경망(RNN, 최근에는 대부분 트랜스포머로 대체됨), 그리고 언어·비전·멀티모달에는 트랜스포머 구조가 활용됩니다. 각 구조는 데이터의 속성에 맞춰 설계된 것입니다. 신경망은 이론적으로 충분한 파라미터와 학습 데이터만 있다면 모든 입력과 출력을 연결할 수 있는 '범용 함수 근사기'입니다. 실제로는 충분한 데이터 확보, 적합한 구조 선택, 과적합 없이 효율적으로 학습하는 것이 도전 과제입니다.
GAIA 활용 방법 신경망
GAIA의 모든 AI 기능—언어 이해, 의미 검색, 작업 추출 등—은 신경망에 의해 구동됩니다. 이메일을 분석하고 워크플로를 계획하는 LLM도 트랜스포머 신경망입니다. 콘텐츠를 검색 가능한 벡터로 변환하는 임베딩 모델도 신경망입니다. 신경망은 GAIA의 지능을 가능하게 하는 계산적 기반입니다.
관련 개념
트랜스포머
트랜스포머는 2017년에 소개된 신경망 구조로, 시퀀스 데이터를 병렬로 처리하기 위해 셀프 어텐션 메커니즘을 사용하며, 모든 현대 대형 언어 모델의 기반을 이룹니다.
대형 언어 모델 (LLM)
대형 언어 모델(LLM)은 방대한 텍스트 데이터셋으로 훈련되어, 다양한 작업에서 인간의 언어를 이해하고 생성하며 추론할 수 있는 딥러닝 모델입니다.
임베딩
임베딩은 텍스트, 이미지, 오디오 등 데이터를 의미와 관계를 표현하는 고차원, 밀집 수치 벡터로 변환한 것입니다.
파인튜닝
파인튜닝은 사전 학습된 AI 모델을 가지고 비교적 작은 규모의 작업 특화 데이터셋으로 추가 학습하여, 특정 도메인이나 애플리케이션에 맞게 모델의 동작을 조정하는 과정입니다.
대형 언어 모델 (LLM)
대형 언어 모델(LLM)은 방대한 텍스트 데이터를 학습해 인간의 언어를 놀라울 정도로 자연스럽게 이해하고 생성하며 추론할 수 있는 인공지능 모델입니다.
