추론
추론이란, 학습된 AI 모델을 새로운 입력 데이터에 적용해 예측, 응답 또는 결정을 도출하는 과정입니다. 이는 모델을 데이터로 학습시키는 트레이닝과는 구분되는 개념입니다.
이해하기 추론
AI 개발 주기는 트레이닝과 추론이라는 뚜렷이 구분된 두 단계로 나뉩니다. 트레이닝에서는 대용량의 데이터를 활용해 수십억 개의 파라미터를 조정하면서 모델이 학습합니다. 추론 단계에서는 이렇게 학습된 모델이 배포되어 새로운 입력을 처리하고 실시간으로 출력값을 생성합니다. AI 서비스 사용자의 모든 상호작용은 추론 단계에서 이루어집니다. 추론 성능은 응답 속도(지연 시간)와 동시 처리량(처리 가능한 요청 수)으로 측정합니다. 둘 다 실제 서비스형 AI 시스템에 매우 중요합니다. 예를 들어, 응답에 30초가 걸리는 느린 모델은 생산성 흐름을 크게 저해할 수 있습니다. 추론 효율을 높이는 방법에는 여러 가지가 있습니다. 양자화(Quantization)는 모델 가중치의 정밀도를 줄여 메모리 사용량을 크게 낮추고, 품질 저하 없이 연산 속도를 높일 수 있습니다. 추측 디코딩(Speculative decoding)은 더 작은 드래프트 모델을 활용해 여러 토큰을 미리 예측하는 방식입니다. GPU 배칭은 여러 요청을 동시에 처리하여 동시 처리량을 개선합니다. 스트리밍 추론은 전체 응답을 기다리지 않고 생성되는 토큰을 바로바로 전송합니다. 이로 인해 체감 지연이 크게 줄어들며, 현대 AI 챗 인터페이스에서 표준적인 동작 방식입니다. GAIA 역시 LLM에서 생성된 응답을 프론트엔드로 실시간 스트리밍 전송합니다.
GAIA 활용 방법 추론
GAIA는 LLM 추론 결과를 실시간으로 프론트엔드에 스트리밍하여, 모델이 응답을 생성하는 즉시 바로 피드백을 받을 수 있도록 합니다. 이메일 분류나 워크플로우 실행과 같은 백그라운드 에이전트 작업의 경우, GAIA는 추론을 비동기로 처리하여 장시간이 소요되는 작업이 인터페이스를 차단하지 않도록 합니다. 또한 LLM 공급자 선택을 통해 추론 비용, 응답 품질, 속도 간의 균형도 조정할 수 있습니다.
관련 개념
대형 언어 모델 (LLM)
대형 언어 모델(LLM)은 방대한 텍스트 데이터셋으로 훈련되어, 다양한 작업에서 인간의 언어를 이해하고 생성하며 추론할 수 있는 딥러닝 모델입니다.
파운데이션 모델
파운데이션 모델은 대규모로 다양한 데이터를 학습해, 파인튜닝·프롬프트·애플리케이션 통합 등을 통해 여러 downstream 작업에 적응할 수 있는 대형 AI 모델입니다.
대형 언어 모델 (LLM)
대형 언어 모델(LLM)은 방대한 텍스트 데이터를 학습해 인간의 언어를 놀라울 정도로 자연스럽게 이해하고 생성하며 추론할 수 있는 인공지능 모델입니다.
컨텍스트 윈도우
컨텍스트 윈도우는 시스템 프롬프트, 대화 내역, 검색 문서, 생성 결과를 포함하여 한 번의 추론 호출에서 언어 모델이 처리할 수 있는 최대 토큰 수를 의미합니다.
