Choose a default theme

You can change your theme from the menu

— views

AI 입문 31화. LLM의 내부 지도 — 입력에서 다음 토큰 점수까지

Collections : 만화로 배우는 AI — 처음 만나는 인공지능부터 LLM의 내부까지(42)

민지의 질문이 화면에 나타났습니다. “비 오는 날 빵집은 무엇을 준비하면 좋을까?” 이제 이 문장을 따라 모델 안으로 들어가 봅니다.


먼저 문장을 토큰과 벡터로 바꿉니다

서비스는 사용자 질문과 필요한 대화 기록·지시를 모델 입력 형식으로 묶습니다. 토크나이저가 이를 토큰 ID로 바꾸고, 모델은 각 ID에 대응하는 임베딩 벡터를 가져옵니다.

ID는 항목을 가리키는 번호이고 임베딩은 계산에 쓰는 숫자 묶음입니다. 둘을 같은 것으로 보지 않습니다. 순서 정보도 모델이 정한 방식으로 반영됩니다. 위치 임베딩을 더하는 모델도 있고, 각 블록의 Q·K 계산에 회전 위치 정보를 반영하는 모델도 있습니다.


여러 블록을 지나며 문맥을 반영합니다

대표적인 디코더 전용 트랜스포머에서는 인과적 셀프 어텐션·FFN·잔차 연결·정규화 등을 포함한 블록을 반복합니다. 각 위치의 표현은 허용된 앞쪽 문맥을 반영하며 변합니다.

층마다 문장의 뜻을 한국어 메모로 쓰는 것은 아닙니다. 숫자 표현을 계속 변환합니다. 블록마다 같은 역할의 부품이 있어도 학습된 매개변수까지 모두 같은 것은 아닙니다.


마지막 표현을 다음 토큰 점수로 바꿉니다

대표적인 구조에서 마지막 블록의 출력을 정규화한 뒤 LM 헤드로 어휘별 점수(로짓)를 구합니다. 생성에는 현재 입력의 마지막 위치 점수를 씁니다.

로짓은 아직 확률이 아닙니다. 소프트맥스와 생성 설정 등을 통해 선택을 진행하고, 고른 토큰을 뒤에 붙입니다. 이어서 다음 토큰을 예측하는 과정을 반복하다 종료 토큰이나 길이 제한 등의 조건에서 멈춥니다.


이것은 대표적인 구조입니다

여기서는 자기회귀 디코더 전용 LLM을 설명했습니다. 원래 트랜스포머의 인코더·디코더 구조나 모든 언어 모델의 유일한 설계도라는 뜻은 아닙니다.

또 웹 검색·파일 저장·사용자 메모리는 이 계산 경로에 자동으로 포함되지 않습니다. 서비스가 외부 기능을 연결하면 그 결과가 입력에 추가되는 식으로 함께 동작할 수 있습니다.


질문이 곧바로 완성 문장으로 바뀌는 것은 아닙니다

마지막 위치의 점수로 토큰 하나를 골라 붙입니다. 다음 점수는 방금 붙인 토큰까지 반영해 구합니다.


대표적인 디코더 전용 LLM의 경로

단계

처리

1. 입력 구성과 토큰화

질문·자료·대화 형식 → 토큰 ID

2. 임베딩과 위치 처리

숫자 벡터에 순서 정보를 모델 방식에 맞게 반영

3. 트랜스포머 블록 반복

인과적 어텐션 · FFN · 잔차 경로 · 정규화

4. 최종 정규화와 LM 헤드

현재 마지막 위치의 표현 → 다음 토큰별 로짓

5. 토큰 선택

확률 변환·생성 설정에 따라 후보 하나 선택

6. 입력 뒤에 추가하고 반복

KV 캐시를 재사용할 수 있음 · 종료 조건에서 멈춤


위치 정보와 정규화의 적용 위치는 모델에 따라 다릅니다. 검색과 도구 실행은 서비스가 별도로 연결합니다.


한눈에 정리하기

단계

무엇으로 바뀌나요?

토크나이저

텍스트 → 토큰 ID

임베딩과 위치 처리

ID → 순서를 반영할 숫자 표현

여러 트랜스포머 블록

문맥을 반영한 표현

최종 정규화·LM 헤드

표현 → 다음 토큰별 점수

선택과 반복

토큰 하나 선택 → 입력 뒤에 추가


조금 더 깊이 · 선택해서 읽기

일부 모델은 입력 임베딩과 출력 변환의 가중치를 공유합니다. 정규화 종류·블록 배치·전문가 혼합·출력 처리에는 변형이 있으므로 특정 모델의 구조를 설명할 때는 그 모델의 공개 설정과 논문을 확인해야 합니다.


함께 볼 위키

트랜스포머 · 대규모 언어 모델


출처와 더 읽을 자료

Vaswani 외 — Attention Is All You Need (2017) — 원래 인코더·디코더 구조와 어텐션 · 확인 2026-10-29

Hugging Face — How do Transformers work? — 트랜스포머 계열·사전학습·미세조정 · 확인 2026-10-29

Hugging Face — Causal language modeling — 미래를 가리는 다음 토큰 예측 · 확인 2026-10-29

Hugging Face — Text generation — 자기회귀 생성 흐름 · 확인 2026-10-29


만화는 AI로 제작한 비유이며, 별도 표시가 없는 수치는 가상 예시입니다.

#AI입문 #LLM #트랜스포머 #만화로배우기 #지식채널

Comments (0)