KV 캐시는 자기회귀 트랜스포머 추론에서 이전 토큰의 키·값 계산 결과를 저장해 재사용하는 방식입니다. 중복 계산을 줄이는 대신 메모리를 사용하며, 모델 가중치 학습이나 계정의 대화 보관 기능과 다릅니다.
다른 이름: Key-value Cache · 키·값 캐시
프리필은 주어진 입력을 처리합니다
프리필은 이미 주어진 입력 토큰들을 처리하는 단계입니다. 대표적인 인과적 트랜스포머에서도 마스크를 지키면서 여러 입력 위치를 함께 계산할 수 있습니다. 마지막 위치 출력에서 다음 토큰을 선택할 준비를 합니다.
입력 길이가 길면 처리할 양과 메모리 요구가 늘어날 수 있습니다. 실제 대기 시간에는 모델 계산뿐 아니라 서버 대기·통신·검색·도구 실행 등도 영향을 줍니다.
디코딩은 생성한 토큰을 이어갑니다
다음 토큰 하나를 선택한 뒤에는 그 토큰을 추가해 다음 출력을 계산하는 과정이 이어집니다. 일반적인 자기회귀 생성에서는 아직 선택되지 않은 미래 토큰을 입력으로 미리 넣을 수 없으므로 반복 사이에 의존성이 있습니다.
이 때문에 학습에서 여러 위치를 병렬로 계산할 수 있다는 말과 답변 전체를 같은 방식으로 한꺼번에 생성한다는 말은 다릅니다. 실제 구현에는 추측 디코딩 등 속도를 높이는 변형도 있습니다.
KV 캐시는 앞부분의 계산 결과를 재사용합니다
표준 인과적 어텐션의 추론에서 이미 처리한 토큰의 키와 값은 이후 단계에서도 사용할 수 있습니다. 각 층의 K·V를 저장해 두면 매번 앞부분 전체의 K·V를 다시 계산하는 일을 줄일 수 있습니다.
새 토큰은 자신의 표현을 계산하면서 저장된 K·V를 참고하고 새 K·V를 더합니다. 캐시는 모델의 가중치와 다른 일시적인 실행 상태입니다. 대화 내용을 학습해 영구 지식으로 바꾸는 기능은 아닙니다.
빠르게 만드는 대신 저장 공간이 필요합니다
문맥이 길어지면 KV 캐시가 사용하는 메모리도 커질 수 있습니다. 길이·배치 크기·층 수·표현 방식 등 여러 요소가 영향을 줍니다. 캐시를 압축하거나 옮기는 전략에는 속도와 메모리의 절충이 있습니다.
서로 다른 요청에 캐시를 무조건 붙여 쓸 수는 없습니다. 입력 앞부분과 모델·설정 등 재사용 조건이 맞아야 합니다. 캐시 사용 여부와 서비스의 대화 보관 정책도 다른 문제입니다.
예시와 비교
구분 | 처리 내용 | 가중치 학습인가요? |
|---|---|---|
프리필 | 주어진 입력을 계산 | 일반 추론에서는 아니요 |
디코딩 | 출력 토큰을 선택하며 반복 | 일반 추론에서는 아니요 |
KV 캐시 | 이전 키·값을 저장해 재사용 | 아니요 |
별도 미세조정 | 학습 절차로 매개변수 조정 | 예 |
주의할 해석
캐시를 지운다는 말과 계정의 대화 기록을 삭제한다는 말은 같지 않습니다. 서로 다른 저장 대상일 수 있습니다.
추가 설명
캐시는 보통 과거의 K·V를 저장합니다. 새 위치의 Q는 현재 계산에 필요하며 과거 Q를 같은 목적으로 계속 저장할 필요는 없습니다. 구체적인 캐시 배치와 수치 정밀도는 구현에 따라 다릅니다.
출처와 더 읽을 자료
Hugging Face — How caching works — 이전 K·V 재사용과 인과적 계산 · 확인 2026-10-29
Hugging Face — Text generation — 자기회귀 생성 흐름 · 확인 2026-10-29