Choose a default theme

You can change your theme from the menu

위치 인코딩

위치 인코딩은 시퀀스 안의 위치나 상대적 순서에 관한 정보를 모델 계산에 반영하는 방법입니다. 정보를 더하거나 회전 위치 표현을 사용하는 등 여러 방식이 있으며 접근 가능한 위치를 제한하는 마스크와 목적이 다릅니다.

다른 이름: Positional Encoding · 위치 정보


토큰 내용만으로는 순서를 충분히 알 수 없습니다

기본 어텐션 계산에 순서 단서를 별도로 주지 않으면 토큰의 위치 관계를 원하는 방식으로 다루기 어렵습니다. 위치 인코딩이나 회전 위치 임베딩 같은 방법으로 순서 정보를 계산에 반영합니다.

위치 번호를 글자처럼 문장 앞에 붙이는 한 가지 방식만 있는 것은 아닙니다. 위치 정보를 더하거나 Q·K 계산에 반영하는 등 모델마다 방법이 다릅니다.


인과적 마스크는 미래 정보를 차단합니다

다음 토큰 예측에서는 현재 위치까지의 정보로 그 다음을 예측합니다. 표준 인과적 셀프 어텐션에서는 위치 i가 자신과 이전 위치 j≤i를 참고할 수 있고 이후 위치는 참고하지 못하게 합니다.

예를 들어 '오늘 / 비가 / 온다'라는 설명용 세 조각에서 첫 위치는 '오늘'만, 둘째는 '오늘·비가'를 봅니다. 둘째 위치의 출력으로 '온다'를 예측할 때 목표를 미리 보여주지 않는 것입니다.


이미 정답을 알아도 계산에서는 가립니다

학습 자료에는 원문 전체가 있습니다. 하지만 각 위치가 미래를 보지 못하도록 점수 계산에 마스크를 적용하면 여러 위치를 함께 계산하면서도 목표 누수를 막을 수 있습니다.

문장 끝을 맞추기 위해 앞뒤를 모두 보는 마스킹 복원 모델과는 허용 문맥이 다릅니다. 위치 정보는 '어디인가', 마스크는 '어디까지 볼 수 있는가'를 담당한다고 구별하면 좋습니다.


예시와 비교

현재 위치

참고 가능한 설명용 조각

1: 오늘

오늘

2: 비가

오늘·비가

3: 온다

오늘·비가·온다



주의할 해석

표에서 각 위치가 보는 토큰과 그 위치가 예측하는 다음 토큰을 혼동하지 않습니다. 현재 입력 토큰을 보는 것 자체가 미래 정답 누수는 아닙니다.


추가 설명

패딩 마스크는 길이를 맞추려고 넣은 빈 자리 등을 제외하는 데 사용됩니다. 인과적 마스크와 목적이 다르며 필요한 경우 함께 적용합니다.



출처와 더 읽을 자료

Vaswani 외 — Attention Is All You Need (2017) — 원래 인코더·디코더 구조와 어텐션 · 확인 2026-10-29

Hugging Face — Causal language modeling — 미래를 가리는 다음 토큰 예측 · 확인 2026-10-29

Su 외 — RoFormer (2021) — 회전 위치 임베딩 · 확인 2026-10-29