Choose a default theme

You can change your theme from the menu

사전학습

사전학습은 후속 작업에 활용할 기초 표현과 능력을 얻도록 모델을 먼저 학습하는 단계입니다. 언어 모델에서는 대량의 텍스트에서 예측 목표를 구성하는 방식이 널리 쓰이며, 이후 미세조정 등으로 적응시킬 수 있습니다.

다른 이름: Pretraining · Pre-training


많은 예시에서 예측을 연습합니다

자기회귀 언어 모델은 앞부분으로 다음 토큰을 예측하는 작업을 대량으로 반복할 수 있습니다. 원문 자체가 다음 토큰이라는 목표를 제공하므로 사람이 모든 문장에 답안을 별도로 달 필요는 없습니다.

예측과 목표의 차이에서 손실을 구하고, 역전파로 기울기를 계산하며, 옵티마이저로 가중치를 바꿉니다. 손실·기울기·갱신의 학습 과정이 큰 규모의 언어 데이터에 적용됩니다.


데이터를 준비하는 일이 중요합니다

수집한 자료를 그대로 모두 넣는 것으로 끝나지 않습니다. 중복·잡음·품질·언어 구성·사용 권한 등을 검토하고, 학습과 평가가 섞이지 않도록 관리합니다. 토큰화와 길이 조정 등 학습용 형태로 만드는 작업도 필요합니다.

인터넷의 글에는 오류와 편향도 있습니다. 많이 읽었다는 말만으로 정확하거나 공정한 모델이 되었다고 판단할 수 없습니다. 어떤 자료가 얼마나 포함되는지에 따라 배울 수 있는 패턴도 달라집니다.


문장을 통째로 저장하는 사전과는 다릅니다

학습은 매개변수를 바꾸어 여러 입력에 대응하는 패턴을 형성하는 과정입니다. 그러나 일부 훈련 내용을 기억하거나 재현하는 현상도 생길 수 있습니다. '모두 암기한다'와 '절대 암기하지 않는다'는 설명은 모두 지나칩니다.

학습 자료의 시간 범위도 지식의 완벽한 경계선은 아닙니다. 그 이전 사실을 모두 아는 것은 아니며, 이후 정보가 필요하면 문맥이나 검색 등 별도의 경로가 필요할 수 있습니다.


다음 말을 잘 잇는 능력과 좋은 대화는 다릅니다

사전학습으로 언어와 다양한 작업의 기초 능력을 얻어도 사용자의 지시를 원하는 방식으로 따르는 데는 후속 학습과 평가가 필요할 수 있습니다.

규모는 중요한 요인 중 하나이지만 모델 구조·데이터·학습 방법·평가 조건도 함께 작용합니다. 매개변수 수 하나만 보고 모든 작업의 우열을 정할 수는 없습니다.


예시와 비교

준비 또는 학습

확인할 점

자료 구성

품질·중복·언어·사용 조건

목표 만들기

앞 문맥과 다음 토큰

가중치 갱신

손실 → 기울기 → 갱신

평가

새로운 자료와 실제 목표에서 성능 확인



주의할 해석

사전학습은 대화 중 웹을 계속 찾아보는 과정이 아닙니다. 일반적인 답변 생성 시점과 구별합니다.


추가 설명

모델의 가중치, 토크나이저, 설정은 서로 맞아야 합니다. 같은 이름의 구조라도 어휘나 차원 등이 다르면 구성요소를 임의로 바꿔 끼울 수 없습니다.



출처와 더 읽을 자료

Hugging Face — Causal language modeling — 미래를 가리는 다음 토큰 예측 · 확인 2026-10-29

Hugging Face LLM Course — Introduction — 언어 모델·자연어 처리 개관 · 확인 2026-10-29

Brown 외 — Language Models are Few-Shot Learners (2020) — 사전학습과 가중치 갱신 없는 문맥 예시 · 확인 2026-10-29