토큰
AI에서 토큰은 언어 모델이 처리하는 텍스트의 기본 단위로, 보통 약 4글자 또는 평균 영어 단어의 ¾에 해당합니다. 토큰은 컨텍스트 윈도우의 크기 측정과 API 사용 비용 산정에 사용됩니다.
이해하기 토큰
언어 모델은 텍스트를 글자 단위나 단어 단위로 처리하지 않습니다. 대신, 토크나이저가 학습 데이터 빈도 패턴에 따라 텍스트를 나누어 만든 토큰(부분 단어 단위)으로 동작합니다. 'the', 'is'와 같은 짧은 흔한 단어는 일반적으로 하나의 토큰이고, 길거나 드문 단어는 둘 이상으로 쪼개집니다. 토큰을 이해해야 하는 이유는 두 가지입니다. 첫째, 모든 모델에는 토큰 수로 측정되는 컨텍스트 윈도우가 있습니다. 즉, 한 번에 고려할 수 있는 최대 텍스트량입니다. GPT-4o는 128,000개, Claude 3.5 Sonnet은 200,000개 컨텍스트 토큰을 지원합니다. 둘째, 대부분의 LLM API는 사용한 토큰 수(입력 + 출력)에 따라 과금하므로 토큰 사용량을 파악하는 것이 직접 비용에 영향을 줍니다. 대략적인 기준: 1,000 토큰은 약 750단어 또는 1,500자에 해당합니다. 일반적인 비즈니스 이메일은 200~400 토큰, 긴 연구 논문은 8,000 토큰이 넘을 수도 있습니다. AI 애플리케이션을 개발할 때 프롬프트 설계는 컨텍스트 효율 최적화와 비용 관리를 위해 토큰 사용량 조절이 중요합니다.
GAIA 활용 방법 토큰
GAIA는 모든 언어 모델 호출에서 토큰 사용량을 효율적으로 관리하여 성능과 비용을 균형 있게 유지합니다. 이메일 대화나 회의록처럼 긴 문서를 처리할 때 GAIA는 청킹 및 요약 전략을 사용해 모델의 컨텍스트 윈도우 내에서 작업하도록 합니다. 과제의 복잡성과 필요한 토큰 예산에 따라 적합한 모델 등급(간단한 작업에는 경량 모델, 복잡한 추론에는 최첨단 모델)을 선택합니다.
관련 개념
대형 언어 모델 (LLM)
대형 언어 모델(LLM)은 방대한 텍스트 데이터셋으로 훈련되어, 다양한 작업에서 인간의 언어를 이해하고 생성하며 추론할 수 있는 딥러닝 모델입니다.
컨텍스트 윈도우
컨텍스트 윈도우는 시스템 프롬프트, 대화 내역, 검색 문서, 생성 결과를 포함하여 한 번의 추론 호출에서 언어 모델이 처리할 수 있는 최대 토큰 수를 의미합니다.
프롬프트 엔지니어링
프롬프트 엔지니어링은 원하는 결과를 신뢰성 있게 끌어내기 위해 AI 언어 모델에 입력을 설계하고 다듬는 실천으로, 기본 가중치 자체를 수정하지 않고도 모델의 행동을 조정할 수 있습니다.
환각
AI 환각이란, 언어모델이 입력이나 학습 데이터에 근거하지 않은 사실과는 다른, 허구 또는 무의미한 정보를 자신 있게 생성하는 현상을 말합니다.
파인튜닝
파인튜닝은 사전 학습된 AI 모델을 가지고 비교적 작은 규모의 작업 특화 데이터셋으로 추가 학습하여, 특정 도메인이나 애플리케이션에 맞게 모델의 동작을 조정하는 과정입니다.
