Choose a default theme

You can change your theme from the menu

— views

AI 입문 29화. 단어의 순서와 아직 보지 않은 정답 — 위치와 마스크

Collections : 만화로 배우는 AI — 처음 만나는 인공지능부터 LLM의 내부까지(42)

“민지가 준을 도왔다”와 “준이 민지를 도왔다”는 등장인물이 같아도 뜻이 다릅니다. 또 다음 말을 맞히는 연습에서 미래 정답을 미리 보면 시험이 무의미해집니다.


토큰 내용만으로는 순서를 충분히 알 수 없습니다

기본 어텐션 계산에 순서 단서를 별도로 주지 않으면 토큰의 위치 관계를 원하는 방식으로 다루기 어렵습니다. 위치 인코딩이나 회전 위치 임베딩 같은 방법으로 순서 정보를 계산에 반영합니다.

위치 번호를 글자처럼 문장 앞에 붙이는 한 가지 방식만 있는 것은 아닙니다. 위치 정보를 더하거나 Q·K 계산에 반영하는 등 모델마다 방법이 다릅니다.


인과적 마스크는 미래 정보를 차단합니다

인과적 셀프어텐션에서 위치 i는 자기 위치와 그 앞(j≤i)을 보고 다음 토큰을 예측합니다.

예를 들어 '오늘 / 비가 / 온다'라는 설명용 세 조각에서 첫 위치는 '오늘'만, 둘째는 '오늘·비가'를 봅니다. 둘째 위치의 출력으로 '온다'를 예측할 때 목표를 미리 보여주지 않는 것입니다.


이미 정답을 알아도 계산에서는 가립니다

학습 자료에는 원문 전체가 있습니다. 하지만 각 위치가 미래를 보지 못하도록 점수 계산에 마스크를 적용하면 여러 위치를 함께 계산하면서도 목표 누수를 막을 수 있습니다.

문장 끝을 맞추기 위해 앞뒤를 모두 보는 마스킹 복원 모델과는 허용 문맥이 다릅니다. 위치 정보는 '어디인가', 마스크는 '어디까지 볼 수 있는가'를 담당한다고 구별하면 좋습니다.


위치와 볼 수 있는 범위를 따로 표시하기

‘민지가 준을 도왔다’와 ‘준이 민지를 도왔다’는 순서에 따라 뜻이 달라집니다. 위치 정보는 순서를 표현하고 인과적 마스크는 미래 토큰을 가립니다.


한눈에 정리하기

현재 위치

참고 가능한 설명용 조각

1: 오늘

오늘

2: 비가

오늘·비가

3: 온다

오늘·비가·온다


현재 입력 토큰을 보는 건 다음 토큰의 정답을 미리 보는 일이 아닙니다.

조금 더 깊이 · 선택해서 읽기

패딩 마스크는 길이를 맞추려고 넣은 빈 자리 등을 제외하는 데 사용됩니다. 인과적 마스크와 목적이 다르며 필요한 경우 함께 적용합니다.


함께 볼 위키

위치 인코딩


출처와 더 읽을 자료

Vaswani 외 — Attention Is All You Need (2017) — 원래 인코더·디코더 구조와 어텐션 · 확인 2026-10-29

Hugging Face — Causal language modeling — 미래를 가리는 다음 토큰 예측 · 확인 2026-10-29

Su 외 — RoFormer (2021) — 회전 위치 임베딩 · 확인 2026-10-29


만화는 AI로 제작한 비유이며, 별도 표시가 없는 수치는 가상 예시입니다.

#AI입문 #트랜스포머 #어텐션 #만화로배우기 #지식채널

Comments (0)