컨텍스트 윈도는 모델이 한 번에 처리할 수 있도록 설정된 토큰 범위와 관련된 한도입니다. 입력·출력 한도의 관계는 구현에 따라 다르며, 긴 입력을 담을 수 있는 능력과 그 안의 정보를 정확하게 활용하는 능력은 구별됩니다.
다른 이름: 문맥 창 · Context Window · 컨텍스트 윈도우
이번 입력에 들어온 내용이 문맥입니다
모델이 답변할 때 참고하도록 제공된 메시지·자료·도구 결과 등을 문맥이라고 부를 수 있습니다. 서비스가 이전 대화를 함께 보내면 모델은 그 내용을 참고해 이어 답할 수 있습니다.
같은 대화방에 모든 기록이 보인다고 해서 그 전체가 매번 모델 입력으로 들어가는 것은 아닙니다. 길이 제한이나 서비스 정책에 따라 일부만 포함하거나 요약할 수 있습니다.
컨텍스트 윈도는 담을 수 있는 범위입니다
컨텍스트 윈도는 모델이 한 번에 처리할 수 있도록 설정된 토큰 범위와 관련됩니다. 입력과 출력의 한도 관계, 시스템 메시지와 도구 정의가 차지하는 부분 등은 실제 모델과 서비스에 따라 확인해야 합니다.
더 긴 문맥을 지원한다고 그 안의 모든 정보를 항상 정확하게 사용하는 것은 아닙니다. 필요한 정보의 위치·자료 구성·질문의 형태에 따라 결과가 달라질 수 있습니다. 중요한 조건은 명확하게 정리하는 것이 도움이 됩니다.
서비스 메모리는 저장과 재주입으로 구현할 수 있습니다
서비스가 사용자 선호를 별도 저장한 뒤 다음 요청의 문맥에 넣는 방식을 생각해 봅시다. 사용자는 'AI가 기억한다'고 느끼지만 모델의 가중치를 바꾸지 않고도 가능한 동작입니다.
이 기능의 저장 위치·수명·사용 범위·삭제 방식은 서비스마다 다릅니다. 특정 제품이 어떻게 처리하는지는 그 제품의 설정과 설명을 확인해야 합니다.
학습과 캐시는 또 다른 층입니다
모델 가중치는 학습으로 정해진 값입니다. 일반적인 대화 추론은 이 값을 그대로 사용합니다. KV 캐시는 앞서 계산한 K·V를 재사용하는 실행 상태입니다.
문맥, 서비스 저장소, 가중치, 캐시를 구별하면 '이 내용을 지웠다'거나 '기억시켰다'는 말이 정확히 무엇을 뜻하는지 물을 수 있습니다. 이름이 비슷해도 서로 다른 기능입니다.
예시와 비교
정보가 있는 곳 | 대표적인 역할 |
|---|---|
현재 문맥 | 이번 답변의 참고 자료 |
서비스 메모리 | 저장한 정보를 이후 입력에 제공 |
모델 가중치 | 학습으로 형성된 패턴 |
KV 캐시 | 현재 계산의 재사용 |
주의할 해석
대화창에서 메시지를 지우면 모든 종류의 저장과 학습 영향이 동시에 사라진다고 단정하지 않습니다. 실제 서비스의 기능과 정책을 확인합니다.
추가 설명
대화 메시지는 모델이 학습한 형식에 맞춰 역할 표시와 구분 토큰 등을 포함하는 입력으로 변환될 수 있습니다. 화면의 채팅 말풍선과 모델이 실제 받는 토큰 시퀀스는 같은 표현 형식이 아닙니다.
출처와 더 읽을 자료
Hugging Face — Chat templates — 대화 메시지의 입력 시퀀스 변환 · 확인 2026-10-29
Hugging Face — How caching works — 이전 K·V 재사용과 인과적 계산 · 확인 2026-10-29
Liu 외 — Lost in the Middle (2023) — 긴 문맥의 정보 활용 평가 · 확인 2026-10-29