대규모 언어 모델은 많은 데이터와 큰 모델 규모를 활용해 학습한 언어 모델을 가리킵니다. 규모의 경계가 하나로 고정된 용어는 아니며, 대표적인 생성형 LLM에서는 디코더 전용 트랜스포머가 널리 사용됩니다.
다른 이름: 대형 언어 모델 · LLM · Large Language Model
먼저 문장을 토큰과 벡터로 바꿉니다
서비스는 사용자 질문과 필요한 대화 기록·지시를 모델 입력 형식으로 묶습니다. 토크나이저가 이를 토큰 ID로 바꾸고, 모델은 각 ID에 대응하는 임베딩 벡터를 가져옵니다.
ID는 항목을 가리키는 번호이고 임베딩은 계산에 쓰는 숫자 묶음입니다. 둘을 같은 것으로 보지 않습니다. 순서 정보도 모델이 정한 방식으로 반영됩니다. 위치 임베딩을 더하는 모델도 있고, 각 블록의 Q·K 계산에 회전 위치 정보를 반영하는 모델도 있습니다.
여러 블록을 지나며 문맥을 반영합니다
대표적인 디코더 전용 트랜스포머에서는 인과적 셀프 어텐션·FFN·잔차 연결·정규화 등을 포함한 블록을 반복합니다. 각 위치의 표현은 허용된 앞쪽 문맥을 반영하며 변합니다.
층마다 문장의 뜻을 한국어 메모로 쓰는 것은 아닙니다. 숫자 표현을 계속 변환합니다. 블록마다 같은 역할의 부품이 있어도 학습된 매개변수까지 모두 같은 것은 아닙니다.
마지막 표현을 다음 토큰 점수로 바꿉니다
대표적인 구성에서는 마지막 블록 뒤 정규화를 거친 표현을 출력 변환, 흔히 LM 헤드라고 부르는 부분에 넣습니다. 어휘에 있는 각 토큰의 점수인 로짓이 나옵니다. 다음 토큰 하나를 고를 때는 현재 입력의 마지막 위치 출력을 사용합니다.
로짓은 아직 확률이 아닙니다. 소프트맥스와 생성 설정 등을 통해 선택을 진행하고, 고른 토큰을 뒤에 붙입니다. 이어서 다음 토큰을 예측하는 과정을 반복하다 종료 토큰이나 길이 제한 등의 조건에서 멈춥니다.
이것은 대표적인 구조입니다
여기서는 자기회귀 디코더 전용 LLM을 설명했습니다. 원래 트랜스포머의 인코더·디코더 구조나 모든 언어 모델의 유일한 설계도라는 뜻은 아닙니다.
또 웹 검색·파일 저장·사용자 메모리는 이 계산 경로에 자동으로 포함되지 않습니다. 서비스가 외부 기능을 연결하면 그 결과가 입력에 추가되는 식으로 함께 동작할 수 있습니다.
예시와 비교
단계 | 무엇으로 바뀌나요? |
|---|---|
토크나이저 | 텍스트 → 토큰 ID |
임베딩과 위치 처리 | ID → 순서를 반영할 숫자 표현 |
여러 트랜스포머 블록 | 문맥을 반영한 표현 |
최종 정규화·LM 헤드 | 표현 → 다음 토큰별 점수 |
선택과 반복 | 토큰 하나 선택 → 입력 뒤에 추가 |
주의할 해석
LM 헤드가 완성된 정답 문서를 꺼내 오는 것은 아닙니다. 다음 토큰의 점수를 만드는 출력 변환입니다. 검색은 별도 단계입니다.
추가 설명
일부 모델은 입력 임베딩과 출력 변환의 가중치를 공유합니다. 정규화 종류·블록 배치·전문가 혼합·출력 처리에는 변형이 있으므로 특정 모델의 구조를 설명할 때는 그 모델의 공개 설정과 논문을 확인해야 합니다.
출처와 더 읽을 자료
Vaswani 외 — Attention Is All You Need (2017) — 원래 인코더·디코더 구조와 어텐션 · 확인 2026-10-29
Hugging Face — How do Transformers work? — 트랜스포머 계열·사전학습·미세조정 · 확인 2026-10-29
Hugging Face — Causal language modeling — 미래를 가리는 다음 토큰 예측 · 확인 2026-10-29
Hugging Face — Text generation — 자기회귀 생성 흐름 · 확인 2026-10-29