Choose a default theme

You can change your theme from the menu

샘플링(언어 모델)

언어 모델의 샘플링은 다음 토큰 후보의 확률 분포에 따라 토큰을 선택하는 방법입니다. 가장 높은 점수의 후보를 고르는 탐욕적 선택과 구별되며, 온도나 후보 제한 설정이 결과의 분포에 영향을 줄 수 있습니다.

다른 이름: 토큰 샘플링 · Sampling


로짓을 선택에 쓸 값으로 바꿉니다

모델은 어휘의 토큰마다 로짓이라는 점수를 냅니다. 소프트맥스는 점수들을 양수이고 합이 1인 값으로 바꾸는 대표적인 함수입니다. 이를 다음 토큰의 확률 분포로 해석할 수 있습니다.

여기서 확률은 문맥 뒤에 특정 토큰이 이어질 가능성에 대한 모델의 분포입니다. 문장 전체가 사실일 확률이나 답변을 믿어도 될 확률과 같은 뜻이 아닙니다.


가장 높은 것을 고르거나 확률에 따라 뽑습니다

설명용 후보 A·B·C의 확률을 0.6·0.3·0.1이라고 해봅시다. 탐욕적 선택은 A를 고릅니다. 샘플링은 이 비중에 따라 뽑으므로 B나 C가 나올 수도 있습니다.

샘플링에서 A가 나올 확률이 60%라고 해서 열 번 중 정확히 여섯 번이 보장되지는 않습니다. 이것은 가상 숫자 예시이며 실제 모델에서 측정한 값은 아닙니다. 생성은 선택한 토큰을 추가하며 계속 이어집니다.


온도는 분포의 날카로움을 조절합니다

양의 온도 값을 사용할 때 보통 로짓을 온도로 나눈 뒤 소프트맥스를 적용합니다. 다른 조건이 같다면 낮은 온도는 높은 점수 쪽에 더 집중하게 하고, 높은 온도는 분포를 더 완만하게 합니다.

온도 0을 탐욕적 선택처럼 처리하는 구현도 있지만 수식에서 0으로 나눈다는 뜻은 아닙니다. 제품이나 라이브러리가 어떤 설정을 지원하고 어떻게 해석하는지 확인해야 합니다.


다양성과 정확성은 같은 조절 손잡이가 아닙니다

온도를 낮추면 표현이 덜 다양해질 수 있지만 가장 높은 점수의 토큰도 잘못된 주장으로 이어질 수 있습니다. 사실 확인에는 자료와 검증이 필요합니다.

후보 수를 제한하는 top-k, 누적 확률로 후보군을 고르는 top-p 등 다른 방법도 있습니다. 난수 시드와 실행 환경까지 영향을 줄 수 있으므로 설정 하나만으로 모든 시스템에서 완전히 같은 출력을 보장한다고 말하지 않습니다.


예시와 비교

가상 후보

확률

탐욕적 선택

A

0.6

선택

B

0.3

선택하지 않음

C

0.1

선택하지 않음



주의할 해석

토큰 확률 0.9와 '답변 내용이 사실일 확률 90%'를 같은 것으로 해석하지 않습니다.


추가 설명

소프트맥스는 각 점수의 지수 값을 전체 지수 값의 합으로 나눈 형태입니다. 모든 점수에 같은 상수를 더해도 결과는 같습니다. 계산 구현에서는 수치 안정성을 고려합니다.



출처와 더 읽을 자료

Hugging Face — Text generation — 자기회귀 생성 흐름 · 확인 2026-10-29

Hugging Face — Generation strategies — 탐욕적 선택·샘플링 · 확인 2026-10-29