Choose a default theme

You can change your theme from the menu

쿼리·키·값

어텐션의 쿼리 Q와 키 K는 관련도 점수 계산에 쓰이고 값 V는 그 점수에서 만든 가중치로 결합되는 표현입니다. 보통 학습된 변환으로 만들며, 셀프 어텐션에서는 같은 시퀀스에서 출발합니다.

다른 이름: QKV · Q·K·V · Query Key Value


Q는 비교를 요청하고 K는 비교될 단서입니다

쿼리 Q는 현재 위치가 어떤 정보와 관련되는지 계산할 때 쓰는 표현입니다. 키 K는 비교 대상 위치의 표현입니다. 표준 점곱 어텐션에서는 Q와 K를 비교해 점수를 만듭니다.

도서관 비유의 검색어와 분류표를 떠올릴 수 있지만, 실제로는 사람이 쓴 문장이 아니라 학습된 선형 변환으로 만들어진 숫자 벡터입니다. 같은 입력 표현에서도 서로 다른 변환으로 Q·K·V를 얻습니다.


V는 가중합에 들어갈 정보입니다

관련도 점수에서 가중치를 만든 다음 값 V를 그 비중만큼 합칩니다. 어떤 비중을 줄지 결정하는 표현과 실제로 섞는 표현의 역할이 나뉜 것입니다.

두 위치의 가중치가 0.25·0.75이고 V가 [2,0]·[0,4]라면 결과는 [0.5,3]입니다. 이 숫자는 역할 설명을 위한 가상 예이며 실제 모델의 측정값이 아닙니다.


모델 밖의 문서를 찾는 것은 아닙니다

셀프 어텐션의 Q·K·V는 같은 시퀀스의 표현에서 만들어집니다. 다른 입력을 참고하는 크로스 어텐션에서는 Q와 K·V의 출처가 달라질 수 있습니다.

RAG의 검색 쿼리와 키워드도 비슷한 이름을 쓸 수 있지만 같은 연산이라고 생각하면 안 됩니다. Q·K·V는 모델 내부의 정보 결합을 설명하고, 외부 자료 검색은 별도의 시스템 단계입니다.


예시와 비교

요소

역할

Q

현재 위치의 비교용 표현

K

대상 위치의 비교용 표현

Q와 K 점수

정보를 섞을 비중의 근거

V

실제로 가중합할 표현



주의할 해석

Q·K·V에 특정 단어의 영구적인 뜻이 들어 있다고 단정하지 않습니다. 층·헤드·문맥과 학습된 변환에 따라 달라집니다.


추가 설명

대표적인 식은 Attention(Q,K,V)=softmax(QKᵀ/√dₖ+마스크)V입니다. 외울 필요는 없습니다. 비교→가중치 변환→값 결합이라는 세 단계가 핵심입니다.



출처와 더 읽을 자료

Vaswani 외 — Attention Is All You Need (2017) — 원래 인코더·디코더 구조와 어텐션 · 확인 2026-10-29

Dive into Deep Learning — Attention Scoring Functions — 어텐션 점수와 가중합 · 확인 2026-10-29