Choose a default theme

You can change your theme from the menu

KV 캐시

KV 캐시는 자기회귀 트랜스포머 추론에서 이전 토큰의 키·값 계산 결과를 저장해 재사용하는 방식입니다. 중복 계산을 줄이는 대신 메모리를 사용하며, 모델 가중치 학습이나 계정의 대화 보관 기능과 다릅니다.

다른 이름: Key-value Cache · 키·값 캐시


프리필은 주어진 입력을 처리합니다

프리필은 이미 주어진 입력 토큰들을 처리하는 단계입니다. 대표적인 인과적 트랜스포머에서도 마스크를 지키면서 여러 입력 위치를 함께 계산할 수 있습니다. 마지막 위치 출력에서 다음 토큰을 선택할 준비를 합니다.

입력 길이가 길면 처리할 양과 메모리 요구가 늘어날 수 있습니다. 실제 대기 시간에는 모델 계산뿐 아니라 서버 대기·통신·검색·도구 실행 등도 영향을 줍니다.


디코딩은 생성한 토큰을 이어갑니다

다음 토큰 하나를 선택한 뒤에는 그 토큰을 추가해 다음 출력을 계산하는 과정이 이어집니다. 일반적인 자기회귀 생성에서는 아직 선택되지 않은 미래 토큰을 입력으로 미리 넣을 수 없으므로 반복 사이에 의존성이 있습니다.

이 때문에 학습에서 여러 위치를 병렬로 계산할 수 있다는 말과 답변 전체를 같은 방식으로 한꺼번에 생성한다는 말은 다릅니다. 실제 구현에는 추측 디코딩 등 속도를 높이는 변형도 있습니다.


KV 캐시는 앞부분의 계산 결과를 재사용합니다

표준 인과적 어텐션의 추론에서 이미 처리한 토큰의 키와 값은 이후 단계에서도 사용할 수 있습니다. 각 층의 K·V를 저장해 두면 매번 앞부분 전체의 K·V를 다시 계산하는 일을 줄일 수 있습니다.

새 토큰은 자신의 표현을 계산하면서 저장된 K·V를 참고하고 새 K·V를 더합니다. 캐시는 모델의 가중치와 다른 일시적인 실행 상태입니다. 대화 내용을 학습해 영구 지식으로 바꾸는 기능은 아닙니다.


빠르게 만드는 대신 저장 공간이 필요합니다

문맥이 길어지면 KV 캐시가 사용하는 메모리도 커질 수 있습니다. 길이·배치 크기·층 수·표현 방식 등 여러 요소가 영향을 줍니다. 캐시를 압축하거나 옮기는 전략에는 속도와 메모리의 절충이 있습니다.

서로 다른 요청에 캐시를 무조건 붙여 쓸 수는 없습니다. 입력 앞부분과 모델·설정 등 재사용 조건이 맞아야 합니다. 캐시 사용 여부와 서비스의 대화 보관 정책도 다른 문제입니다.


예시와 비교

구분

처리 내용

가중치 학습인가요?

프리필

주어진 입력을 계산

일반 추론에서는 아니요

디코딩

출력 토큰을 선택하며 반복

일반 추론에서는 아니요

KV 캐시

이전 키·값을 저장해 재사용

아니요

별도 미세조정

학습 절차로 매개변수 조정

예



주의할 해석

캐시를 지운다는 말과 계정의 대화 기록을 삭제한다는 말은 같지 않습니다. 서로 다른 저장 대상일 수 있습니다.


추가 설명

캐시는 보통 과거의 K·V를 저장합니다. 새 위치의 Q는 현재 계산에 필요하며 과거 Q를 같은 목적으로 계속 저장할 필요는 없습니다. 구체적인 캐시 배치와 수치 정밀도는 구현에 따라 다릅니다.



출처와 더 읽을 자료

Hugging Face — How caching works — 이전 K·V 재사용과 인과적 계산 · 확인 2026-10-29

Hugging Face — Text generation — 자기회귀 생성 흐름 · 확인 2026-10-29