Choose a default theme

You can change your theme from the menu

— views

AI 입문 28화. 여러 관점에서 함께 읽기 — 멀티헤드 어텐션

Collections : 만화로 배우는 AI — 처음 만나는 인공지능부터 LLM의 내부까지(42)

같은 문장에서도 인물 관계, 시간, 표현의 연결 등 여러 단서가 도움이 됩니다. 하나의 비교 방식만 사용하지 않고 여러 학습된 표현 공간에서 정보를 살피면 어떨까요?


여러 헤드가 별도의 변환을 사용합니다

멀티헤드 어텐션은 여러 Q·K·V 변환으로 어텐션 계산을 수행하고 결과를 결합합니다. 같은 입력이라도 다른 변환을 거쳐 서로 다른 관계를 반영할 가능성을 줍니다.

헤드의 역할은 학습 과정에서 형성됩니다. 사람이 미리 지정하거나 언제나 이름을 붙일 수 있는 것은 아닙니다.


결과를 모아 다음 표현을 만듭니다

대표적인 구조에서는 각 헤드의 출력을 이어 붙이고 다시 선형 변환해 모델의 표현 크기로 돌립니다. 한 헤드의 결과만 골라 나머지를 버리는 다수결과는 다릅니다.

여러 관점을 결합할 수 있다는 장점이 있지만 헤드 수가 많으면 항상 성능이 더 좋아지는 것은 아닙니다. 모델 크기와 계산 비용, 각 헤드의 차원 등을 함께 고려합니다.


서로 다른 모델 여러 개라는 뜻은 아닙니다

헤드들은 한 모델의 구성요소로 함께 학습됩니다. 사람이 각각 독립된 상담원을 고용하는 것과 같지는 않습니다. 토큰을 처리하는 여러 계산 경로로 이해하면 됩니다.

현대 모델에서는 키·값을 일부 헤드가 공유하는 등 다양한 변형을 사용합니다. 기본 멀티헤드 구조와 실제 모델의 상세 구성을 구별해서 읽습니다.


여러 계산 경로의 결과를 함께 쓰기

헤드마다 Q·K·V 변환이 달라 같은 문장에서도 다른 정보 조합을 얻습니다. 각 헤드에 ‘주어 찾기’처럼 고정된 임무가 있는 것은 아닙니다.


한눈에 정리하기

비유

실제 계산과의 대응

여러 창

서로 다른 학습된 투영

각 창의 정보

헤드별 어텐션 출력

정보 종합

결합 후 출력 변환

한 모델

헤드들이 함께 학습됨


조금 더 깊이 · 선택해서 읽기

Multi-query나 grouped-query attention은 일부 Q 헤드가 K·V를 공유하는 접근입니다. 메모리와 연산 특성이 달라질 수 있으며 이름만으로 품질을 판단하지 않습니다.


함께 볼 위키

멀티헤드 어텐션


출처와 더 읽을 자료

Vaswani 외 — Attention Is All You Need (2017) — 원래 인코더·디코더 구조와 어텐션 · 확인 2026-10-29

Hugging Face — How caching works — 이전 K·V 재사용과 인과적 계산 · 확인 2026-10-29


만화는 AI로 제작한 비유이며, 별도 표시가 없는 수치는 가상 예시입니다.

#AI입문 #트랜스포머 #어텐션 #만화로배우기 #지식채널

Comments (0)