멀티헤드 어텐션은 여러 학습된 투영으로 어텐션을 수행하고 각 출력을 결합하는 구조입니다. 한 모델 안의 여러 표현 경로이며, 독립된 챗봇의 다수결이나 고정된 인간 전문가의 역할표와 같지 않습니다.
다른 이름: Multi-head Attention
여러 헤드가 별도의 변환을 사용합니다
멀티헤드 어텐션은 여러 Q·K·V 변환으로 어텐션 계산을 수행하고 결과를 결합합니다. 같은 입력이라도 다른 변환을 거쳐 서로 다른 관계를 반영할 가능성을 줍니다.
각 헤드에 정해진 전문 직업이 있는 것은 아닙니다. 실제 헤드의 역할은 학습 과정에서 형성되며 항상 해석 가능한 이름을 붙일 수 있는 것도 아닙니다.
결과를 모아 다음 표현을 만듭니다
대표적인 구조에서는 각 헤드의 출력을 이어 붙이고 다시 선형 변환해 모델의 표현 크기로 돌립니다. 한 헤드의 결과만 골라 나머지를 버리는 다수결과는 다릅니다.
여러 관점을 결합할 수 있다는 장점이 있지만 헤드 수가 많으면 항상 성능이 더 좋아지는 것은 아닙니다. 모델 크기와 계산 비용, 각 헤드의 차원 등을 함께 고려합니다.
서로 다른 모델 여러 개라는 뜻은 아닙니다
헤드들은 한 모델의 구성요소로 함께 학습됩니다. 사람이 각각 독립된 상담원을 고용하는 것과 같지는 않습니다. 토큰을 처리하는 여러 계산 경로로 이해하면 됩니다.
현대 모델에서는 키·값을 일부 헤드가 공유하는 등 다양한 변형을 사용합니다. 기본 멀티헤드 구조와 실제 모델의 상세 구성을 구별해서 읽습니다.
예시와 비교
비유 | 실제 계산과의 대응 |
|---|---|
여러 창 | 서로 다른 학습된 투영 |
각 창의 정보 | 헤드별 어텐션 출력 |
정보 종합 | 결합 후 출력 변환 |
한 모델 | 헤드들이 함께 학습됨 |
주의할 해석
'1번 헤드는 문법, 2번은 감정'처럼 모든 모델에 고정된 담당표가 있는 것으로 설명하지 않습니다.
추가 설명
Multi-query나 grouped-query attention은 일부 Q 헤드가 K·V를 공유하는 접근입니다. 메모리와 연산 특성이 달라질 수 있으며 이름만으로 품질을 판단하지 않습니다.
출처와 더 읽을 자료
Vaswani 외 — Attention Is All You Need (2017) — 원래 인코더·디코더 구조와 어텐션 · 확인 2026-10-29
Hugging Face — How caching works — 이전 K·V 재사용과 인과적 계산 · 확인 2026-10-29