— views
AI 입문 26화. 이 단어는 어디를 참고해야 할까? — 셀프 어텐션
“민지는 빵을 샀다. 그녀는 그것을 준에게 건넸다.” 여기서 '그녀'와 '그것'을 처리하려면 앞의 어떤 표현이 관련될까요?
현재 위치가 참고할 정보를 계산합니다
셀프 어텐션에서는 각 위치의 표현을 바탕으로 다른 허용된 위치와의 관련도 점수를 구합니다. 이 점수를 가중치로 바꾼 뒤 해당 위치들의 정보 표현을 가중합합니다.
'그것'에 빵 정보가 도움이 될 수 있다는 예는 직관을 위한 것입니다. 실제 모델의 점수가 우리가 예상한 문법 관계와 항상 일치하지는 않습니다. 각 층과 헤드에서도 계산이 달라질 수 있습니다.
가중치로 정보를 섞습니다
설명용으로 세 위치의 값이 2·10·4이고 가중치가 0.2·0.5·0.3이라고 합시다. 결과는 0.2×2+0.5×10+0.3×4=6.6입니다. 실제 값은 벡터지만 같은 방식으로 각 좌표를 결합합니다.
어느 위치까지 참고할 수 있는지는 마스크와 모델 구조가 정합니다.
사람의 주의와 같은 뜻은 아닙니다
어텐션이라는 이름 때문에 사람이 관심을 기울이는 심리 상태를 떠올릴 수 있습니다. 여기서는 관련도를 계산하고 값을 결합하는 연산의 이름입니다.
그러나 그것만으로 모델이 답을 내린 전체 이유를 완전히 설명했다고 보지는 않습니다. 뒤의 계산과 다른 경로도 결과에 영향을 줍니다.
정보를 고르는 것에서 섞는 것까지

‘민지가 빵을 샀다. 그것을 나눴다’에서 ‘빵’은 ‘그것’을 해석할 단서입니다. 어텐션은 정답 단어 하나를 지정하지 않고 여러 위치의 값을 가중합합니다.
한눈에 정리하기
위치 | 값 | 가중치 | 기여 |
|---|---|---|---|
A | 2 | 0.2 | 0.4 |
B | 10 | 0.5 | 5 |
C | 4 | 0.3 | 1.2 |
합계 | 1 | 6.6 |
어텐션은 입력 표현을 비교하는 내부 계산입니다. 외부 문서를 찾는 검색과 구별하세요.
확인 문제
두 값 4와 10에 각각 가중치 0.75와 0.25를 주면 가중합은?
① 5.5
② 7
정답과 해설
정답 ① 5.5 · 4 × 0.75 + 10 × 0.25 = 3 + 2.5다. 7은 두 값에 같은 가중치를 줄 때의 평균이다.
조금 더 깊이 · 선택해서 읽기
표준 점곱 어텐션은 쿼리와 키의 점수에 크기 조정과 마스크를 적용하고 소프트맥스로 가중치를 만듭니다.
함께 볼 위키
출처와 더 읽을 자료
Vaswani 외 — Attention Is All You Need (2017) — 원래 인코더·디코더 구조와 어텐션 · 확인 2026-10-29
Dive into Deep Learning — Attention Scoring Functions — 어텐션 점수와 가중합 · 확인 2026-10-29
만화는 AI로 제작한 비유이며, 별도 표시가 없는 수치는 가상 예시입니다.
Comments (0)