언어 모델은 텍스트 시퀀스의 통계적 관계를 모델링하는 모델입니다. 대표적인 자기회귀 언어 모델은 앞선 토큰들을 조건으로 다음 토큰의 확률 분포를 계산하고 이를 반복해 텍스트를 생성합니다.
다른 이름: Language Model · LM
문맥을 조건으로 언어의 패턴을 배웁니다
언어 모델은 텍스트의 통계적 관계를 모델링합니다. 대표적인 자기회귀 언어 모델은 앞선 토큰들을 보고 다음 토큰의 확률 분포를 계산합니다. 토큰은 텍스트 처리 단위입니다.
'따뜻한' 다음에는 다양한 표현이 올 수 있습니다. 날씨 이야기인지 아침 식사 이야기인지에 따라 가능성이 달라집니다. 단순히 자주 등장하는 단어 하나를 항상 내놓는 방식과는 다릅니다.
작은 선택을 반복해 긴 문장을 만듭니다
다음 토큰을 고르고, 그것을 문맥 뒤에 붙여 다시 다음 토큰을 계산합니다. 이 과정을 반복하면 여러 문장이 만들어질 수 있습니다. 실제 토큰은 완전한 단어보다 작을 수도 있습니다.
요약·번역·질문 답변도 적절한 입력과 학습을 통해 이런 출력 과정으로 수행할 수 있습니다. 그렇다고 학습 목표인 다음 토큰 예측과 사람이 원하는 정확한 답변이 항상 일치하는 것은 아닙니다.
유창함과 사실성은 나누어 봅니다
학습에서 언어의 구조와 여러 지식을 활용하는 패턴을 얻을 수 있지만, 그럴듯한 문장을 만드는 일이 사실 확인을 자동으로 보장하지는 않습니다. 존재하지 않는 책 제목이나 잘못된 날짜도 자연스럽게 이어질 수 있습니다.
특정 질문에 대한 정답을 데이터베이스에서 그대로 꺼내는 것과도 구별합니다. 별도의 검색 도구가 붙어 있는지, 어떤 자료를 실제로 확인했는지는 서비스 수준에서 따로 살펴봐야 합니다.
예시와 비교
문맥 | 이어질 수 있는 표현 예 |
|---|---|
아침 식탁의 따뜻한… | 국·빵·커피 |
추운 날 건넨 따뜻한… | 말·인사·위로 |
작동 방식 | 문맥에 따라 후보 점수 계산 |
주의할 해석
다음 토큰을 예측한다는 설명이 모델의 모든 행동을 단순 단어 빈도로 환원한다는 뜻은 아닙니다. 여러 층의 복잡한 계산이 문맥 표현을 만듭니다.
추가 설명
언어 모델에는 앞뒤 문맥을 이용한 마스킹 목표 등 다양한 학습 방식이 있습니다. 이 연재의 생성 과정 설명은 대표적인 자기회귀 모델을 중심으로 합니다.
출처와 더 읽을 자료
Hugging Face LLM Course — Introduction — 언어 모델·자연어 처리 개관 · 확인 2026-10-29
Hugging Face — Causal language modeling — 미래를 가리는 다음 토큰 예측 · 확인 2026-10-29