Temperature (AI)
Temperature는 언어 모델 추론에서 토큰 선택의 무작위성을 조절하는 파라미터입니다. 값이 높을수록 결과가 더 다양하고 창의적으로, 낮을수록 일관되고 예측 가능한 출력이 생성됩니다.
이해하기 Temperature (AI)
LLM이 텍스트를 생성할 때, 가능한 다음 토큰에 대한 확률 분포를 계산합니다. Temperature는 이 분포를 샘플링 전에 스케일링합니다. Temperature가 0일 때는 항상 가장 확률이 높은 토큰을 선택(그리디 디코딩)하여 결정론적인 결과를 만듭니다. 값이 높아질수록(0.7~1.0) 더 넓은 분포에서 샘플링하여 결과에 다양성과 때때로 예기치 않은(또는 부정확한) 답변이 섞입니다. Temperature는 창의성과 일관성 사이에서 조절하는 다이얼입니다. 사실적 정확성이 중요한 작업(이메일 요약, 회의에서 작업 추출 등)에는 낮은 값(0.0~0.3)이 적합합니다. 창의력이 중요한 작업(브레인스토밍, 다양한 문구 작성, 이름 생성 등)은 높은 값(0.7~1.0)에서 더 흥미로운 결과를 얻을 수 있습니다. 관련 파라미터인 top-p(nucleus sampling)은 확률이 높은 일부 토큰만 샘플링하고, top-k는 상위 k개의 토큰에서만 선택하도록 제한합니다. 이런 파라미터들을 조합해 개발자는 출력 특성을 세밀하게 제어할 수 있습니다. 대부분의 AI 어시스턴트 API에서는 temperature 값을 설정할 수 있습니다. GAIA는 작업 유형에 따라 temperature 값을 다르게 적용합니다. 사실 검색과 작업 생성에는 낮은 값을, 창작과 브레인스토밍엔 높은 값을 사용합니다.
GAIA 활용 방법 Temperature (AI)
GAIA는 과업에 따라 다양한 온도 설정을 사용합니다. 예를 들어, 메일함 읽기, 할 일 추출, 캘린더 일정 보고와 같이 사실 기반의 작업에는 일관된 정확도를 위해 낮은 온도를 사용합니다. 답장 작성, 요약 생성, 아이디어 제안과 같이 창의적인 작업에는 보다 자연스럽고 다양한 출력을 위해 높은 온도를 사용합니다.
관련 개념
대형 언어 모델 (LLM)
대형 언어 모델(LLM)은 방대한 텍스트 데이터셋으로 훈련되어, 다양한 작업에서 인간의 언어를 이해하고 생성하며 추론할 수 있는 딥러닝 모델입니다.
프롬프트 엔지니어링
프롬프트 엔지니어링은 원하는 결과를 신뢰성 있게 끌어내기 위해 AI 언어 모델에 입력을 설계하고 다듬는 실천으로, 기본 가중치 자체를 수정하지 않고도 모델의 행동을 조정할 수 있습니다.
추론
추론이란, 학습된 AI 모델을 새로운 입력 데이터에 적용해 예측, 응답 또는 결정을 도출하는 과정입니다. 이는 모델을 데이터로 학습시키는 트레이닝과는 구분되는 개념입니다.
환각
AI 환각이란, 언어모델이 입력이나 학습 데이터에 근거하지 않은 사실과는 다른, 허구 또는 무의미한 정보를 자신 있게 생성하는 현상을 말합니다.
구조화 출력
구조화 출력은 LLM의 응답을 미리 정해진 형식(주로 JSON이나 XML)으로 제한하여, 자유로운 텍스트 대신 안정적으로 프로그램에서 파싱할 수 있게 하는 기술입니다.
