토크나이제이션
토크나이제이션은 텍스트를 '토큰'이라고 불리는 더 작은 단위로 분해하는 과정으로, 이 토큰이 언어 모델의 기본 입력 단위가 됩니다. 토큰은 주로 단어의 일부분이나 전체, 혹은 구두점을 나타냅니다.
이해하기 토크나이제이션
언어 모델이 텍스트를 처리하기 전에 먼저 토큰 단위로 변환해야 합니다. 최신 LLM은 Byte Pair Encoding(BPE)이나 SentencePiece와 같은 서브워드 토크나이제이션 알고리즘을 사용하여 어휘 규모와 커버리지의 균형을 맞춥니다. 자주 쓰이는 단어는 하나의 토큰이 되고, 드문 단어는 여러 서브워드 토큰으로 분리됩니다. 평균적으로 영어에서는 한 토큰이 약 네 글자, 또는 단어의 약 3/4에 해당합니다. 토크나이제이션이 중요한 이유는 세 가지입니다. 첫째, 컨텍스트 윈도우는 단어가 아닌 토큰 단위로 측정됩니다. 예를 들어 128,000 토큰 컨텍스트 윈도우에는 약 96,000개의 영어 단어가 들어갑니다. 둘째, API 비용은 입력 및 출력 토큰 수에 따라 부과됩니다. 셋째, 토크나이제이션 방식에 따라 다양한 언어 처리 결과가 달라집니다. 토크나이저는 언어별로 다르게 설계됩니다. OpenAI의 tiktoken 라이브러리, Hugging Face의 토크나이저, Anthropic의 토크나이저마다 각자 다른 어휘를 사용하여, 동일한 텍스트도 모델마다 다르게 토크나이즈됩니다. 이는 컨텍스트 윈도우 계산 및 비용 산정에 영향을 미칩니다. 특수 토큰은 시퀀스의 시작과 끝, 시스템 프롬프트와 사용자 메시지의 구분, 도구 호출의 경계를 표시합니다. 이러한 구조적 토큰은 LLM의 모든 상호작용에 항상 포함되며, 사용자에게는 보이지 않을 수 있습니다.
GAIA 활용 방법 토크나이제이션
GAIA는 에이전트 워크플로우 전반에 걸쳐 토큰 예산을 신중하게 관리합니다. 긴 이메일이나 문서는 임베딩 또는 요약 전에 토큰 크기에 맞춘 조각들로 분할됩니다. 프롬프트를 구성할 때 GAIA는 검색된 컨텍스트의 양과 LLM의 컨텍스트 윈도우 제한을 균형 있게 조정하여 정보 밀도를 최대화하면서 모델 제약 내에서 작동하도록 합니다. 토큰을 고려한 분할 덕분에 GAIA의 의미 기반 검색이 의미 단위로 일관되게 작동할 수 있습니다.
관련 개념
컨텍스트 윈도우
컨텍스트 윈도우는 시스템 프롬프트, 대화 내역, 검색 문서, 생성 결과를 포함하여 한 번의 추론 호출에서 언어 모델이 처리할 수 있는 최대 토큰 수를 의미합니다.
대형 언어 모델 (LLM)
대형 언어 모델(LLM)은 방대한 텍스트 데이터셋으로 훈련되어, 다양한 작업에서 인간의 언어를 이해하고 생성하며 추론할 수 있는 딥러닝 모델입니다.
임베딩
임베딩은 텍스트, 이미지, 오디오 등 데이터를 의미와 관계를 표현하는 고차원, 밀집 수치 벡터로 변환한 것입니다.
대형 언어 모델 (LLM)
대형 언어 모델(LLM)은 방대한 텍스트 데이터를 학습해 인간의 언어를 놀라울 정도로 자연스럽게 이해하고 생성하며 추론할 수 있는 인공지능 모델입니다.
