— views
AI 입문 42화. 질문 한 줄이 답변이 되기까지 — AI 전체 여정 복습
처음에는 'AI가 뭐야?'라는 질문으로 시작했습니다. 이제 빵집 도우미에게 '이번 주 공지를 보고 비 오는 날 준비할 일을 정리해줘'라고 말했을 때 어떤 일이 일어날 수 있는지, 처음부터 끝까지 직접 설명해 봅니다.
모델이 배우는 시간과 사용하는 시간을 나눕니다
개발 단계에서 사전학습·SFT·선호 학습 등의 방법으로 모델의 가중치를 조정할 수 있습니다. 모든 모델이 같은 단계를 거치는 것은 아니지만 학습과 답변 실행은 구별됩니다.
사용자가 질문하는 일반적인 추론에서는 준비된 가중치와 이번 입력을 사용합니다. 대화에 새 정보를 제공하는 것과 모델을 새로 학습하는 것은 같은 일이 아닙니다.
서비스가 이번에 필요한 자료를 모읍니다
서비스는 사용자 질문·필요한 대화 기록·지시 등을 입력 형식에 맞게 묶습니다. 공지를 검색하도록 구성되어 있다면 권한 안에서 자료를 검색하고 관련 내용을 문맥에 제공합니다.
여기에는 검색을 먼저 수행하는 설계도 있고, 모델이 도구를 요청한 뒤 결과를 받아 다시 답변하는 설계도 있습니다. 검색·도구·메모리는 필요한 경우 연결되는 기능이며 모든 답변에서 반드시 쓰이는 것은 아닙니다.
모델 안에서는 표현 변환과 토큰 선택이 이어집니다
텍스트는 토큰 ID로 바뀌고 임베딩 벡터가 됩니다. 순서 정보를 반영하며 여러 트랜스포머 블록에서 인과적으로 허용된 정보를 결합하고 표현을 가공합니다.
대표적인 디코더 전용 모델은 최종 정규화와 LM 헤드 등을 거쳐 다음 토큰 점수를 만듭니다. 생성 방식에 따라 토큰 하나를 고르고 뒤에 붙이며 반복합니다. KV 캐시는 앞서 계산한 키·값을 재사용할 수 있게 합니다.
사람이 받는 답변은 검증 대상입니다
모델이 매끄럽게 쓴 준비 목록에도 공지에 없는 내용이 섞일 수 있습니다. 어떤 항목이 자료의 사실이고 어떤 항목이 제안인지 나누고, 출처·수치·도구 실행 결과를 확인합니다.
‘비가 오니 포장재를 점검하자’는 운영 제안입니다. 공지에 적힌 사실처럼 인용하지 말고 현장 사정에 맞는지 판단하세요.
빵집 준비 목록 한 장을 끝까지 따라가기

‘금요일 판매 시작’은 공지에서 확인한 사실이고 ‘비가 오면 손님이 줄 것’은 추정입니다. 준은 둘을 구분해 준비 수량을 정합니다.
한눈에 정리하기
전체 경로 | 핵심 질문 |
|---|---|
학습 | 어떤 목표와 자료로 가중치를 조정했나 |
서비스 입력 구성 | 이번에 어떤 정보가 제공됐나 |
토큰·임베딩 | 문장을 어떤 숫자 표현으로 바꾸나 |
블록·LM 헤드 | 문맥에서 다음 토큰 점수를 어떻게 만드나 |
선택·반복 | 어떻게 토큰을 고르고 언제 멈추나 |
검색·도구·검증 | 외부 근거와 실행 결과는 확인됐나 |
확인 문제
일반적인 자기회귀 언어 모델이 첫 답변 토큰을 골랐다. 두 번째 토큰은 어떻게 고를까?
① 첫 토큰을 문맥에 포함해 다음 점수를 계산한다
② 원래 질문에서 계산한 후보의 2등을 고른다
정답과 해설
정답 ① 첫 토큰을 문맥에 포함해 다음 점수를 계산한다 · 새 토큰이 붙으면 조건이 되는 문맥이 달라진다. 다음 토큰 후보의 점수도 그 문맥을 반영해 계산한다.
조금 더 깊이 · 선택해서 읽기
이 시리즈가 다룬 대표 경로를 이해하면 새로운 모델 소개도 더 잘 읽을 수 있습니다. '어떤 부품이 달라졌나', '어떤 학습 목표를 썼나', '무엇으로 평가했나'를 분리해 보세요. 특정 모델의 이름이나 크기만으로 작동 방식과 품질을 추측할 필요가 줄어듭니다.
함께 볼 위키
인공지능 · 대규모 언어 모델 · 트랜스포머 · 검색 증강 생성
출처와 더 읽을 자료
Vaswani 외 — Attention Is All You Need (2017) — 원래 인코더·디코더 구조와 어텐션 · 확인 2026-10-29
Hugging Face — Causal language modeling — 미래를 가리는 다음 토큰 예측 · 확인 2026-10-29
Hugging Face — Text generation — 자기회귀 생성 흐름 · 확인 2026-10-29
Hugging Face — Tool use — 도구 요청과 실행 결과 전달 · 확인 2026-10-29
Lewis 외 — Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (2020) — 외부 검색과 생성의 연결 · 확인 2026-10-29
만화는 AI로 제작한 비유이며, 별도 표시가 없는 수치는 가상 예시입니다.
Comments (0)