— views
AI 입문 38화. 대화 내용을 기억하는 것과 새로 배우는 것은 다르다
어제 빵집 이름을 알려줬더니 오늘도 기억하는 것 같습니다. 그러면 모델의 가중치에 우리 가게 이름이 새겨진 걸까요?
이번 입력에 들어온 내용이 문맥입니다
문맥은 답변할 때 주어진 메시지·자료·도구 결과입니다. 서비스가 다시 보내 준 이전 대화도 여기에 포함됩니다.
같은 대화방에 모든 기록이 보인다고 해서 그 전체가 매번 모델 입력으로 들어가는 것은 아닙니다. 길이 제한이나 서비스 정책에 따라 일부만 포함하거나 요약할 수 있습니다.
컨텍스트 윈도는 담을 수 있는 범위입니다
컨텍스트 윈도는 모델이 한 번에 처리할 수 있도록 설정된 토큰 범위와 관련됩니다. 입력과 출력의 한도 관계, 시스템 메시지와 도구 정의가 차지하는 부분 등은 실제 모델과 서비스에 따라 확인해야 합니다.
더 긴 문맥을 지원한다고 그 안의 모든 정보를 항상 정확하게 사용하는 것은 아닙니다. 필요한 정보의 위치·자료 구성·질문의 형태에 따라 결과가 달라질 수 있습니다.
서비스 메모리는 저장과 재주입으로 구현할 수 있습니다
서비스가 사용자 선호를 별도 저장한 뒤 다음 요청의 문맥에 넣는 방식을 생각해 봅시다. 사용자는 'AI가 기억한다'고 느끼지만 모델의 가중치를 바꾸지 않고도 가능한 동작입니다.
이 기능의 저장 위치·수명·사용 범위·삭제 방식은 서비스마다 다릅니다. 특정 제품이 어떻게 처리하는지는 그 제품의 설정과 설명을 확인해야 합니다.
학습과 캐시는 또 다른 층입니다
모델 가중치는 학습으로 정해진 값입니다. 일반적인 대화 추론은 이 값을 그대로 사용합니다. KV 캐시는 앞서 계산한 K·V를 재사용하는 실행 상태입니다.
문맥, 서비스 저장소, 가중치, 캐시를 구별하면 '이 내용을 지웠다'거나 '기억시켰다'는 말이 정확히 무엇을 뜻하는지 물을 수 있습니다. 이름이 비슷해도 서로 다른 기능입니다.
기억하는 것처럼 보여도 저장 위치는 다를 수 있습니다

서비스가 저장한 빵집 이름을 새 요청에 넣으면 모델이 다시 쓸 수 있습니다. 기억해 낸 것처럼 보여도 가중치가 바뀐 증거는 아닙니다.
한눈에 정리하기
정보가 있는 곳 | 대표적인 역할 |
|---|---|
현재 문맥 | 이번 답변의 참고 자료 |
서비스 메모리 | 저장한 정보를 이후 입력에 제공 |
모델 가중치 | 학습으로 형성된 패턴 |
KV 캐시 | 현재 계산의 재사용 |
메시지를 지울 때 어떤 저장 기록까지 삭제되는지는 서비스 정책을 확인하세요.
조금 더 깊이 · 선택해서 읽기
대화 메시지는 모델이 학습한 형식에 맞춰 역할 표시와 구분 토큰 등을 포함하는 입력으로 변환될 수 있습니다. 화면의 채팅 말풍선과 모델이 실제 받는 토큰 시퀀스는 같은 표현 형식이 아닙니다.
함께 볼 위키
출처와 더 읽을 자료
Hugging Face — Chat templates — 대화 메시지의 입력 시퀀스 변환 · 확인 2026-10-29
Hugging Face — How caching works — 이전 K·V 재사용과 인과적 계산 · 확인 2026-10-29
Liu 외 — Lost in the Middle (2023) — 긴 문맥의 정보 활용 평가 · 확인 2026-10-29
만화는 AI로 제작한 비유이며, 별도 표시가 없는 수치는 가상 예시입니다.
Comments (0)