Choose a default theme

You can change your theme from the menu

인간 피드백 기반 강화학습

인간 피드백 기반 강화학습은 사람의 평가나 선호를 학습 신호로 활용해 모델을 조정하는 접근입니다. 대표적인 언어 모델 절차에서는 응답 비교로 보상 모델을 학습하고 그 보상을 이용해 강화학습을 수행합니다.

다른 이름: RLHF · Reinforcement Learning from Human Feedback


좋은 답변 하나와 답변 비교는 다른 자료입니다

SFT에서는 바람직한 응답 예시를 직접 보여줄 수 있습니다. 선호 학습에서는 같은 입력에 대한 여러 응답 중 어느 쪽을 더 선호하는지 등의 비교 정보를 사용합니다.

사람의 평가 기준은 친절함·도움·지시 준수·안전성 등 여러 요소를 포함할 수 있습니다. 평가자를 어떻게 선정하고 어떤 기준을 제시하는지에 따라 선호 자료의 성격도 달라집니다.


대표적인 RLHF는 보상 모델을 이용합니다

고전적인 RLHF 흐름의 한 예에서는 사람들이 비교한 자료로 응답에 점수를 주는 보상 모델을 학습합니다. 이어 언어 모델이 높은 보상을 얻도록 강화학습으로 조정합니다. 보통 앞서 SFT를 수행하는 등 여러 단계로 구성합니다.

보상 모델은 사람의 선호를 근사하는 또 다른 모델입니다. 높은 점수가 사실의 절대적인 판정표는 아닙니다. 점수만 잘 얻는 표현이나 평가 기준의 빈틈을 배우는 문제를 살펴야 합니다.


DPO는 다른 학습 경로를 사용합니다

DPO는 선호하는 응답과 덜 선호하는 응답의 비교 자료를 이용해 언어 모델을 직접 최적화하는 방법입니다. 대표적인 DPO에서는 별도의 보상 모델을 학습하고 강화학습 루프를 돌리는 단계를 요구하지 않습니다.

목적이 비슷하다고 모든 선호 학습을 동일한 RLHF 절차로 설명하면 혼동이 생깁니다. 실제 모델의 후속 학습은 여러 방법을 섞을 수 있으므로 공개된 설명 범위 안에서 말해야 합니다.


예시와 비교

방법

대표적인 학습 자료와 경로

SFT

좋은 응답 예시 → 지도 학습

고전적 RLHF 예

응답 비교 → 보상 모델 → 강화학습

DPO

응답 비교 → 선호 목적함수로 직접 최적화

공통 확인점

선호 점수와 실제 품질의 차이



주의할 해석

사람이 좋아하는 답변과 사실인 답변은 겹칠 수 있지만 항상 같지는 않습니다. 자신감 있는 오답이 선호될 가능성도 평가해야 합니다.


추가 설명

RLHF라는 말을 넓게 쓰는 문헌과 특정 강화학습 절차를 뜻하는 문헌이 있습니다. 이 글은 보상 모델을 사용하는 대표적인 RLHF 사례와 DPO를 구별해 설명합니다. 특정 제품의 비공개 학습 방법을 추정하지 않습니다.



출처와 더 읽을 자료

Ouyang 외 — Training language models to follow instructions with human feedback (2022) — SFT·사람의 응답 비교·RLHF · 확인 2026-10-29

Rafailov 외 — Direct Preference Optimization (2023) — 선호 자료를 통한 직접 최적화 · 확인 2026-10-29