자연어 처리의 토큰은 모델이 텍스트를 처리할 때 사용하는 단위입니다. 단어·문자·단어 조각 등으로 구성될 수 있으며 분할 방식은 토크나이저에 따라 달라집니다. 토큰 ID는 어휘 항목의 식별 번호입니다.
다른 이름: 토큰 · Token · 토크나이저 · Tokenizer
토큰은 처리에 사용하는 텍스트 단위입니다
토큰은 문자 하나, 단어 전체, 단어의 일부, 공백을 포함한 조각 등 여러 형태일 수 있습니다. 어떤 조각을 쓰는지는 토크나이저에 따라 달라집니다. 한국어 한 단어가 언제나 한 토큰인 것은 아닙니다.
예를 들어 '학교에서'를 '학교'와 '에서'로 나누는 모습을 상상할 수 있지만, 이는 설명용 분할입니다. 특정 모델이 실제로 그렇게 나누는지는 해당 토크나이저로 확인해야 합니다.
조각에 번호를 붙입니다
토크나이저는 텍스트를 토큰 ID라는 번호열로 바꿉니다. 이 번호는 사전의 항목 번호처럼 해당 조각을 가리킵니다. 번호가 크다고 의미가 더 크거나 더 중요한 것은 아닙니다.
대화의 시작·종료·역할 등을 표현하는 특수 토큰도 사용할 수 있습니다. 화면에 보이는 문장 외에 서비스가 붙이는 형식 정보가 모델 입력에 포함될 수 있습니다.
길이와 잘리는 위치에 영향을 줍니다
모델이 한 번에 처리할 수 있는 문맥 길이는 보통 토큰 수로 제한합니다. 같은 글자 수라도 언어·표기·토크나이저에 따라 토큰 수가 달라집니다. 입력과 출력, 내부 형식에 배정되는 공간도 고려해야 합니다.
토큰으로 바꾼 뒤에는 번호를 숫자 벡터로 표현해 신경망에 전달합니다. 토큰 번호 자체에 의미가 완성되어 있는 것은 아니며 임베딩이 그 연결을 맡습니다.
예시와 비교
표현 | 뜻 |
|---|---|
글자 수 | 문자 기준 길이 |
단어 수 | 단어 경계 기준 길이 |
토큰 수 | 토크나이저의 조각 기준 길이 |
토큰 ID | 해당 조각을 가리키는 번호 |
주의할 해석
모델을 밝히지 않고 '한국어 한 글자는 정확히 몇 토큰'이라고 고정해서 설명하지 않습니다.
추가 설명
BPE·WordPiece·Unigram 등 토큰화 접근이 있습니다. 어휘 구성과 정규화 방식도 결과에 영향을 줍니다. 토큰 분할 예시를 제시할 때는 실제 토크나이저 출력인지 설명용 조각인지 밝혀야 합니다.
출처와 더 읽을 자료
Hugging Face — Tokenizers — 텍스트 분할과 ID 변환 · 확인 2026-10-29
Hugging Face — Causal language modeling — 미래를 가리는 다음 토큰 예측 · 확인 2026-10-29