자기지도학습은 데이터 자체의 구조에서 학습 목표를 구성하는 접근입니다. 언어의 다음 토큰 예측과 가린 토큰 복원은 대표적인 예이며, 사람이 자료를 준비하거나 목표를 설계하지 않는다는 뜻은 아닙니다.
다른 이름: Self-supervised Learning
원문을 입력과 목표로 나눕니다
다음 토큰 예측에서는 문장의 앞부분을 보고 실제로 이어진 토큰을 맞히도록 학습할 수 있습니다. 원문에 이어진 내용이 있으므로 사람이 매번 새로운 정답을 작성하지 않아도 됩니다.
다른 방식으로는 문장의 일부를 가리고 그 부분을 복원하도록 할 수 있습니다. '과수원에 [빈칸]가 열렸다'를 복원하는 문제는 이런 마스킹 연습입니다. 다음 토큰 예측과 빈칸 복원은 같은 목적식이 아니므로 구별합니다.
많은 작은 문제에서 표현을 배웁니다
여러 자료에서 반복되는 관계를 이용해 언어의 형태와 문맥 패턴을 학습합니다. 그 결과를 다른 작업에 활용하거나 추가 학습의 출발점으로 사용할 수 있습니다.
학습 목표가 원문을 맞히는 것이므로 원문에 담긴 오류와 편향의 영향을 받을 수 있습니다. 자료가 스스로 목표를 제공한다고 품질 검토가 필요 없어지는 것은 아닙니다.
자료 준비에는 여전히 선택이 들어갑니다
어떤 자료를 포함할지, 중복을 어떻게 줄일지, 평가 자료가 학습에 섞이지 않게 어떻게 관리할지 정해야 합니다. 언어와 분야의 비중도 결과에 영향을 줍니다.
이후 좋은 답변 예시나 선호 신호로 추가 학습을 할 수 있습니다. 자기지도 사전학습과 질문에 잘 답하도록 조정하는 과정은 서로 다른 역할을 합니다. 32~34화에서 이어서 살펴봅니다.
예시와 비교
학습 문제 | 입력에 보이는 것 | 목표 |
|---|---|---|
다음 토큰 예측 | 앞선 토큰 | 실제로 이어진 토큰 |
마스킹 복원 | 빈칸을 제외한 허용 문맥 | 가려진 부분 |
공통점 | 원문에서 학습 문제 구성 | 자료 자체에서 목표 생성 |
주의할 해석
자기지도학습이 스스로 옳고 그름을 완벽하게 판별한다는 뜻은 아닙니다. 학습 신호를 만드는 방법에 대한 이름입니다.
추가 설명
자기지도학습은 언어 외에 이미지와 음성에서도 사용됩니다. 어떤 부분을 예측하거나 어떤 표현을 가깝게 만들지는 작업과 방법마다 다릅니다.
출처와 더 읽을 자료
Hugging Face — How do Transformers work? — 트랜스포머 계열·사전학습·미세조정 · 확인 2026-10-29
Hugging Face — Causal language modeling — 미래를 가리는 다음 토큰 예측 · 확인 2026-10-29
Hugging Face — Masked language modeling — 가린 토큰 복원 목표 · 확인 2026-10-29