— views
AI 입문 33화. 말을 잇는 모델을 질문에 답하게 만들기 — 미세조정
민지는 빵집 도우미가 질문에 짧고 친절하게 답했으면 합니다. 사전학습 모델에게 좋은 질문·답변 예시를 보여주며 행동을 가르치는 방법이 있습니다.
이미 배운 모델을 예시로 더 학습합니다
SFT는 미리 학습된 모델에 지시와 바람직한 응답 등의 예시를 제공해 추가로 학습하는 방식입니다. 어떤 입력에 어떤 응답을 내도록 할지 구체적인 사례를 통해 조정합니다.
예를 들어 영업시간 질문에는 확인된 시간만 답하고, 모르는 내용은 확인이 필요하다고 말하는 예시를 만들 수 있습니다. 예시의 품질·범위·형식이 중요하며 같은 문구만 반복하는 자료로 다양한 상황을 모두 가르칠 수는 없습니다.
프롬프트에 예시를 넣는 것과 구별합니다
같은 질문에 답변 예시 두 개를 붙이는 것만으로도 출력 형식이 달라질 수 있습니다.
SFT는 별도의 학습 절차로 매개변수를 조정합니다. 문맥에 예시를 주는 방법과 학습 데이터로 예시를 쓰는 방법은 겉으로 비슷해 보여도 저장되는 곳과 적용 방식이 다릅니다.
필요한 행동과 사실을 따로 평가합니다
말투가 좋아졌다고 사실도 모두 맞는 것은 아닙니다. 학습 예시에 없던 질문, 잘못된 전제를 담은 질문, 답할 근거가 없는 질문 등을 따로 평가해야 합니다.
매일 달라지는 재고나 공지처럼 빠르게 바뀌는 정보는 미세조정만으로 관리하기 어려울 수 있습니다. 검색이나 데이터 조회를 연결하는 선택지도 있습니다.
예시를 배우게 하는 경우와 이번에 참고시키는 경우

보관법 답변 예시로 SFT를 하면 가중치가 바뀝니다. 같은 예시를 오늘의 요청에 넣기만 하면 이번 문맥에서 참고합니다.
한눈에 정리하기
방법 | 일반적으로 무엇이 달라지나요? |
|---|---|
현재 프롬프트에 예시 추가 | 이번 입력 문맥 |
SFT | 학습으로 모델 매개변수 조정 |
RAG | 검색한 자료를 입력 문맥에 제공 |
평가 | 변경 전후 실제 결과 비교 |
미세조정으로 사실 하나만 데이터베이스의 항목처럼 정확히 교체할 수 있는 건 아닙니다.
확인 문제
프롬프트에 답변 예시 세 개를 넣었다. 이 작업만으로 지도 미세조정(SFT)을 했다고 할 수 있을까?
① 예
② 아니요
정답과 해설
정답 ② 아니요 · 예시는 이번 추론의 입력이다. SFT에서는 학습 예시를 이용해 모델 매개변수를 갱신한다.
조금 더 깊이 · 선택해서 읽기
전체 매개변수를 바꾸는 대신 일부 추가 매개변수 등을 학습하는 PEFT 방식도 있습니다. LoRA는 저랭크 행렬을 이용한 대표적인 접근입니다. 구체적인 비용과 효과는 설정과 작업에 따라 달라집니다.
함께 볼 위키
출처와 더 읽을 자료
Ouyang 외 — Training language models to follow instructions with human feedback (2022) — SFT·사람의 응답 비교·RLHF · 확인 2026-10-29
Hugging Face TRL — SFT Trainer — 지도 미세조정 · 확인 2026-10-29
Hu 외 — LoRA (2021) — 일부 추가 저랭크 매개변수의 학습 · 확인 2026-10-29
만화는 AI로 제작한 비유이며, 별도 표시가 없는 수치는 가상 예시입니다.
Comments (0)