Temperature (AI)
LLM temperature(온도)는 언어 모델이 다음 단어(토큰)를 고를 때 얼마나 무작위로 고를지 정하는 설정값입니다. 값이 낮으면(0에 가까우면) 가장 확률이 높은 단어를 주로 골라 답이 일관되고 예측 가능해지고, 값이 높으면 확률이 낮은 단어도 뽑혀 답이 다양하고 창의적으로 바뀝니다. AI temperature, AI 온도라고도 부릅니다.
이해하기 Temperature (AI)
LLM이 텍스트를 생성할 때, 가능한 다음 토큰에 대한 확률 분포를 계산합니다. Temperature는 이 분포를 샘플링 전에 스케일링합니다. Temperature가 0일 때는 항상 가장 확률이 높은 토큰을 선택(그리디 디코딩)하여 결정론적인 결과를 만듭니다. 값이 높아질수록(0.7~1.0) 더 넓은 분포에서 샘플링하여 결과에 다양성과 때때로 예기치 않은(또는 부정확한) 답변이 섞입니다.
Temperature는 창의성과 일관성 사이에서 조절하는 다이얼입니다. 사실적 정확성이 중요한 작업(이메일 요약, 회의에서 작업 추출 등)에는 낮은 값(0.0~0.3)이 적합합니다. 창의력이 중요한 작업(브레인스토밍, 다양한 문구 작성, 이름 생성 등)은 높은 값(0.7~1.0)에서 더 흥미로운 결과를 얻을 수 있습니다.
관련 파라미터인 top-p(nucleus sampling)은 확률이 높은 일부 토큰만 샘플링하고, top-k는 상위 k개의 토큰에서만 선택하도록 제한합니다. 이런 파라미터들을 조합해 개발자는 출력 특성을 세밀하게 제어할 수 있습니다.
temperature 범위는 서비스마다 다릅니다. OpenAI API와 Google Gemini API는 0~2, Anthropic Claude API는 0~1 사이의 값을 받습니다. 1은 모델이 학습한 확률 분포를 그대로 쓰는 값이고, 1보다 낮으면 분포가 뾰족해져 상위 단어에 확률이 몰리며, 1보다 높으면 분포가 평평해져 엉뚱한 단어가 나올 가능성이 커집니다. 1.5를 넘기면 문장이 깨지는 경우가 많아 실무에서는 거의 쓰지 않습니다.
원리를 수식으로 보면, 모델은 후보 토큰마다 점수(logit)를 계산하고 이를 temperature T로 나눈 뒤 softmax로 확률을 만듭니다. 예를 들어 두 후보의 점수가 2와 1이면 T=1에서는 확률이 약 73%와 27%이지만, T=0.5에서는 약 88%와 12%, T=2에서는 약 62%와 38%가 됩니다. T가 작을수록 1등 후보에 확률이 몰리는 것을 알 수 있습니다.
temperature 설정 방법: API를 쓸 때는 요청에 temperature 값을 넣습니다(예: "temperature": 0.2). ChatGPT나 Claude 같은 소비자용 채팅 앱에는 보통 이 값을 바꾸는 메뉴가 없고, 개발자용 플레이그라운드에서 조절할 수 있습니다. temperature를 0으로 두어도 GPU 연산 특성 때문에 답이 매번 완전히 같지는 않을 수 있으며, temperature와 top-p는 둘 중 하나만 조절하는 것이 일반적인 권장 사항입니다.
GAIA는 거의 모든 작업에 0.1이라는 낮은 temperature를 기본값으로 씁니다. 메일 분류, 할 일 추출, 일정 조회, 도구 호출처럼 정확해야 하는 일이 대부분이기 때문입니다. 다양성이 필요한 일부 작업에만 더 높은 값을 따로 지정합니다.
GAIA 활용 방법 Temperature (AI)
GAIA는 기본 temperature를 0.1로 두고 거의 모든 작업에 사용합니다. 메일함 읽기, 할 일 추출, 캘린더 일정 보고, 도구 호출처럼 사실과 정확성이 중요한 작업에서 같은 입력에 비슷한 결과를 내기 위해서입니다. 다양한 표현이 필요한 일부 작업에만 더 높은 값을 따로 지정합니다.
관련 개념
대형 언어 모델 (LLM)
대형 언어 모델(LLM)은 방대한 텍스트 데이터를 학습해 인간의 언어를 놀라울 정도로 자연스럽게 이해하고 생성하며 추론할 수 있는 인공지능 모델입니다.
프롬프트 엔지니어링
프롬프트 엔지니어링은 원하는 결과를 신뢰성 있게 끌어내기 위해 AI 언어 모델에 입력을 설계하고 다듬는 실천으로, 기본 가중치 자체를 수정하지 않고도 모델의 행동을 조정할 수 있습니다.
추론
추론이란, 학습된 AI 모델을 새로운 입력 데이터에 적용해 예측, 응답 또는 결정을 도출하는 과정입니다. 이는 모델을 데이터로 학습시키는 트레이닝과는 구분되는 개념입니다.
환각
AI 환각이란, 언어모델이 입력이나 학습 데이터에 근거하지 않은 사실과는 다른, 허구 또는 무의미한 정보를 자신 있게 생성하는 현상을 말합니다.
구조화 출력
구조화 출력은 LLM의 응답을 미리 정해진 형식(주로 JSON이나 XML)으로 제한하여, 자유로운 텍스트 대신 안정적으로 프로그램에서 파싱할 수 있게 하는 기술입니다.
