셀프 어텐션은 같은 시퀀스에서 얻은 표현들을 비교해 정보 결합의 비중을 만들고 값 벡터를 가중합하는 계산입니다. 사람의 주의나 외부 문서 검색과 동일한 개념이 아니며 가중치만으로 모델 판단 전체를 설명할 수 없습니다.
다른 이름: Self-attention · 자기 주의
현재 위치가 참고할 정보를 계산합니다
셀프 어텐션에서는 각 위치의 표현을 바탕으로 다른 허용된 위치와의 관련도 점수를 구합니다. 이 점수를 가중치로 바꾼 뒤 해당 위치들의 정보 표현을 가중합합니다.
'그것'에 빵 정보가 도움이 될 수 있다는 예는 직관을 위한 것입니다. 실제 모델의 점수가 우리가 예상한 문법 관계와 항상 일치하지는 않습니다. 각 층과 헤드에서도 계산이 달라질 수 있습니다.
가중치로 정보를 섞습니다
설명용으로 세 위치의 값이 2·10·4이고 가중치가 0.2·0.5·0.3이라고 합시다. 결과는 0.2×2+0.5×10+0.3×4=6.6입니다. 실제 값은 벡터지만 같은 방식으로 각 좌표를 결합합니다.
한 위치만 고르는 방식과 달리 여러 위치의 정보가 함께 섞일 수 있습니다. 어떤 위치를 참고할 수 있는지는 마스크와 모델 구조가 정합니다.
사람의 주의와 같은 뜻은 아닙니다
어텐션이라는 이름 때문에 사람이 관심을 기울이는 심리 상태를 떠올릴 수 있습니다. 여기서는 관련도를 계산하고 값을 결합하는 연산의 이름입니다.
가중치를 그림으로 보여주는 것은 일부 계산을 이해하는 데 도움이 됩니다. 그러나 그것만으로 모델이 답을 내린 전체 이유를 완전히 설명했다고 보지는 않습니다. 뒤의 계산과 다른 경로도 결과에 영향을 줍니다.
예시와 비교
위치 | 값 | 가중치 | 기여 |
|---|---|---|---|
A | 2 | 0.2 | 0.4 |
B | 10 | 0.5 | 5 |
C | 4 | 0.3 | 1.2 |
합계 | 1 | 6.6 |
주의할 해석
어텐션은 웹 검색이 아닙니다. 모델 내부에서 표현을 비교하는 계산과 외부 문서를 검색하는 RAG를 구별합니다.
추가 설명
표준 점곱 어텐션은 쿼리와 키의 점수에 크기 조정과 마스크를 적용하고 소프트맥스로 가중치를 만듭니다. Q·K는 점수 계산에, V는 가중합에 쓰입니다.
출처와 더 읽을 자료
Vaswani 외 — Attention Is All You Need (2017) — 원래 인코더·디코더 구조와 어텐션 · 확인 2026-10-29
Dive into Deep Learning — Attention Scoring Functions — 어텐션 점수와 가중합 · 확인 2026-10-29