Choose a default theme

You can change your theme from the menu

— views

AI 입문 19화. 언어모델은 무슨 일을 할까? — 다음 말 예상하기

Collections : 만화로 배우는 AI — 처음 만나는 인공지능부터 LLM의 내부까지(42)

“오늘 아침에는 따뜻한…” 다음에 어떤 말이 올까요? 커피, 국, 빵처럼 여러 후보가 가능합니다.


문맥을 조건으로 언어의 패턴을 배웁니다

언어 모델은 텍스트의 통계적 관계를 모델링합니다. 대표적인 자기회귀 언어 모델은 앞선 토큰들을 보고 다음 토큰의 확률 분포를 계산합니다. 토큰은 텍스트를 처리하는 단위입니다.

‘따뜻한’ 다음에 어울리는 말은 문맥이 날씨인지 아침 식사인지에 따라 다릅니다.


작은 선택을 반복해 긴 문장을 만듭니다

다음 토큰을 고르고, 그것을 문맥 뒤에 붙여 다시 다음 토큰을 계산합니다. 이 과정을 반복하면 여러 문장이 만들어질 수 있습니다. 실제 토큰은 완전한 단어보다 작을 수도 있습니다.

요약·번역·질문 답변도 적절한 입력과 학습을 통해 이런 출력 과정으로 수행할 수 있습니다. 그렇다고 학습 목표인 다음 토큰 예측과 사람이 원하는 정확한 답변이 항상 일치하는 것은 아닙니다.


유창함과 사실성은 나누어 봅니다

학습에서 언어의 구조와 여러 지식을 활용하는 패턴을 얻을 수 있지만, 그럴듯한 문장을 만드는 일이 사실 확인을 자동으로 보장하지는 않습니다. 존재하지 않는 책 제목이나 잘못된 날짜도 자연스럽게 이어질 수 있습니다.

특정 질문에 대한 정답을 데이터베이스에서 그대로 꺼내는 것과도 구별합니다. 별도의 검색 도구가 붙어 있는지, 어떤 자료를 실제로 확인했는지는 서비스 수준에서 따로 살펴봐야 합니다.


이미 고른 말이 다음 선택의 조건이 됩니다

‘오늘 아침에는’ 다음에 ‘빵’을 고르면 그다음 예측의 입력은 ‘오늘 아침에는 빵’입니다. ‘커피’를 골랐다면 다음 후보의 확률도 달라집니다.


한눈에 정리하기

문맥

이어질 수 있는 표현 예

아침 식탁의 따뜻한…

국·빵·커피

추운 날 건넨 따뜻한…

말·인사·위로

작동 방식

문맥에 따라 후보 점수 계산


조금 더 깊이 · 선택해서 읽기

언어 모델에는 앞뒤 문맥을 이용한 마스킹 목표 등 다양한 학습 방식이 있습니다. 이 연재의 생성 과정 설명은 대표적인 자기회귀 모델을 중심으로 합니다.


함께 볼 위키

언어 모델 · 대규모 언어 모델


출처와 더 읽을 자료

Hugging Face LLM Course — Introduction — 언어 모델·자연어 처리 개관 · 확인 2026-10-29

Hugging Face — Causal language modeling — 미래를 가리는 다음 토큰 예측 · 확인 2026-10-29


만화는 AI로 제작한 비유이며, 별도 표시가 없는 수치는 가상 예시입니다.

#AI입문 #언어모델 #토큰 #만화로배우기 #지식채널

Comments (0)