Choose a default theme

You can change your theme from the menu

— views

AI 입문 27화. 찾는 것·찾을 단서·가져올 정보 — Q·K·V

Collections : 만화로 배우는 AI — 처음 만나는 인공지능부터 LLM의 내부까지(42)

도서관에서 필요한 책을 찾는 상황을 떠올려 봅시다. 내가 찾는 조건, 각 책의 단서, 실제로 가져올 내용은 역할이 다릅니다.



Q는 비교를 요청하고 K는 비교될 단서입니다

표준 점곱 어텐션은 현재 위치의 쿼리(Q)와 비교할 위치의 키(K)를 내적해 관련도 점수를 구합니다.

도서관 비유의 검색어와 분류표를 떠올릴 수 있지만, 실제로는 사람이 쓴 문장이 아니라 학습된 선형 변환으로 만들어진 숫자 벡터입니다. 같은 입력 표현에서도 서로 다른 변환으로 Q·K·V를 얻습니다.


V는 가중합에 들어갈 정보입니다

관련도 점수에서 가중치를 만든 다음 값 V를 그 비중만큼 합칩니다. 어떤 비중을 줄지 결정하는 표현과 실제로 섞는 표현의 역할이 나뉜 것입니다.

두 위치의 가중치가 0.25·0.75이고 V가 [2,0]·[0,4]라면 결과는 [0.5,3]입니다. 이 숫자는 역할 설명을 위한 가상 예이며 실제 모델의 측정값이 아닙니다.


모델 밖의 문서를 찾는 것은 아닙니다

셀프 어텐션의 Q·K·V는 같은 시퀀스의 표현에서 만들어집니다. 다른 입력을 참고하는 크로스 어텐션에서는 Q와 K·V의 출처가 달라질 수 있습니다.

RAG의 검색 쿼리와 키워드도 비슷한 이름을 쓸 수 있지만 같은 연산이라고 생각하면 안 됩니다. Q·K·V는 모델 내부의 정보 결합을 설명하고, 외부 자료 검색은 별도의 시스템 단계입니다.


비교할 단서와 실제로 가져올 내용을 구별하기

Q와 K를 비교해 각 위치의 비중을 정하고, 그 비중을 곱해 합치는 대상은 V입니다.


한눈에 정리하기

요소

역할

Q

현재 위치의 비교용 표현

K

대상 위치의 비교용 표현

Q와 K 점수

정보를 섞을 비중의 근거

V

실제로 가중합할 표현


Q·K·V는 단어마다 고정된 값이 아니라 층·헤드·문맥에 따라 달라집니다.


확인 문제

어텐션이 값 벡터 [2, 2]와 [6, 0]에 각각 0.5의 가중치를 줬다. 결과는?

① [8, 2]

② [4, 1]

정답과 해설

정답 ② [4, 1] · 각 좌표에서 절반씩 더한다. 첫 좌표는 1 + 3, 둘째는 1 + 0이다.


조금 더 깊이 · 선택해서 읽기

대표적인 식은 Attention(Q,K,V)=softmax(QKᵀ/√dₖ+마스크)V입니다. 외울 필요는 없습니다. 비교→가중치 변환→값 결합이라는 세 단계가 핵심입니다.


함께 볼 위키

쿼리·키·값


출처와 더 읽을 자료

Vaswani 외 — Attention Is All You Need (2017) — 원래 인코더·디코더 구조와 어텐션 · 확인 2026-10-29

Dive into Deep Learning — Attention Scoring Functions — 어텐션 점수와 가중합 · 확인 2026-10-29


만화는 AI로 제작한 비유이며, 별도 표시가 없는 수치는 가상 예시입니다.

#AI입문 #트랜스포머 #어텐션 #만화로배우기 #지식채널

Comments (0)