Choose a default theme

You can change your theme from the menu

— views

AI 입문 35화. 같은 질문에도 답이 달라지는 이유 — 생성과 샘플링

Collections : 만화로 배우는 AI — 처음 만나는 인공지능부터 LLM의 내부까지(42)

같은 질문을 두 번 했는데 답변 표현이 달라졌습니다.


로짓을 선택에 쓸 값으로 바꿉니다

모델은 어휘의 토큰마다 로짓이라는 점수를 냅니다. 소프트맥스는 점수들을 양수이고 합이 1인 값으로 바꾸는 대표적인 함수입니다. 이를 다음 토큰의 확률 분포로 해석할 수 있습니다.

여기서 확률은 문맥 뒤에 특정 토큰이 이어질 가능성에 대한 모델의 분포입니다. 문장 전체가 사실일 확률이나 답변을 믿어도 될 확률과 같은 뜻이 아닙니다.


가장 높은 것을 고르거나 확률에 따라 뽑습니다

탐욕적 선택은 확률이 가장 높은 토큰을 택합니다. 샘플링은 후보의 확률에 따라 하나를 뽑습니다.

샘플링에서 A가 나올 확률이 60%라고 해서 열 번 중 정확히 여섯 번이 보장되지는 않습니다. 이것은 가상 숫자 예시이며 실제 모델에서 측정한 값은 아닙니다. 생성은 선택한 토큰을 추가하며 계속 이어집니다.


온도는 분포의 날카로움을 조절합니다

양의 온도 값을 사용할 때 보통 로짓을 온도로 나눈 뒤 소프트맥스를 적용합니다. 다른 조건이 같다면 낮은 온도는 높은 점수 쪽에 더 집중하게 하고, 높은 온도는 분포를 더 완만하게 합니다.

온도 0을 탐욕적 선택처럼 처리하는 구현도 있지만 수식에서 0으로 나눈다는 뜻은 아닙니다. 제품이나 라이브러리가 어떤 설정을 지원하고 어떻게 해석하는지 확인해야 합니다.


다양성과 정확성은 같은 조절 손잡이가 아닙니다

온도를 낮추면 표현이 덜 다양해질 수 있지만 가장 높은 점수의 토큰도 잘못된 주장으로 이어질 수 있습니다. 사실 확인에는 자료와 검증이 필요합니다.

후보 수를 제한하는 top-k, 누적 확률로 후보군을 고르는 top-p 등 다른 방법도 있습니다. 난수 시드와 실행 환경까지 영향을 줄 수 있으므로 설정 하나만으로 모든 시스템에서 완전히 같은 출력을 보장한다고 말하지 않습니다.


같은 후보 점수에서도 선택 방식이 달라집니다

후보 확률이 0.6·0.3·0.1이면 최댓값 방식은 첫 후보를 택합니다. 샘플링은 다른 후보도 뽑을 수 있고, 그 선택이 다음 예측을 바꿉니다.


한눈에 정리하기

가상 후보

확률

탐욕적 선택

A

0.6

선택

B

0.3

선택하지 않음

C

0.1

선택하지 않음


조금 더 깊이 · 선택해서 읽기

소프트맥스는 각 점수의 지수 값을 전체 지수 값의 합으로 나눈 형태입니다. 모든 점수에 같은 상수를 더해도 결과는 같습니다. 계산 구현에서는 수치 안정성을 고려합니다.


함께 볼 위키

샘플링(언어 모델)


출처와 더 읽을 자료

Hugging Face — Text generation — 자기회귀 생성 흐름 · 확인 2026-10-29

Hugging Face — Generation strategies — 탐욕적 선택·샘플링 · 확인 2026-10-29


만화는 AI로 제작한 비유이며, 별도 표시가 없는 수치는 가상 예시입니다.

#AI입문 #LLM #트랜스포머 #만화로배우기 #지식채널

Comments (0)