
인터넷의 모든 문장에 사람이 일일이 정답을 달아주기는 어렵습니다. 그렇다면 원래 자료의 일부를 예측 문제로 바꾸면 어떨까요? 다음 토큰 예측에서는 원문의 뒷부분이 정답 역할을 합니다. 다른 방식으로는 문장의 일부를 가리고 그 부분을 복원하도록 할 수 있습니다. 예를 들어 '과수원에 [빈칸]가 열렸다'에서 가린 단어를 맞히게 하는 것이 이런 마스킹 연습입니다. 다음 토큰 예측과 빈칸 복원은 같은 목적식이 아니므로 구별합니다. 여

인터넷의 모든 문장에 사람이 일일이 정답을 달아주기는 어렵습니다. 그렇다면 원래 자료의 일부를 예측 문제로 바꾸면 어떨까요? 다음 토큰 예측에서는 원문의 뒷부분이 정답 역할을 합니다. 다른 방식으로는 문장의 일부를 가리고 그 부분을 복원하도록 할 수 있습니다. 예를 들어 '과수원에 [빈칸]가 열렸다'에서 가린 단어를 맞히게 하는 것이 이런 마스킹 연습입니다. 다음 토큰 예측과 빈칸 복원은 같은 목적식이 아니므로 구별합니다. 여

문장을 단어 수로 세는 사람과 토큰으로 처리하는 모델은 같은 경계를 사용하지 않을 수 있습니다. 토큰은 문자 하나, 단어 전체, 단어의 일부, 공백을 포함한 조각 등 여러 형태일 수 있습니다. 어떤 조각을 쓰는지는 토크나이저에 따라 달라집니다. 한국어 한 단어가 언제나 한 토큰인 것은 아닙니다. 예를 들어 '학교에서'를 '학교'와 '에서'로 나누는 모습을 상상할 수 있지만, 이는 설명용 분할입니다. 특정 모델이 실제로 그렇게


“오늘 아침에는 따뜻한…” 다음에 어떤 말이 올까요? 커피, 국, 빵처럼 여러 후보가 가능합니다. 언어 모델은 텍스트의 통계적 관계를 모델링합니다. 대표적인 자기회귀 언어 모델은 앞선 토큰들을 보고 다음 토큰의 확률 분포를 계산합니다. 토큰은 텍스트를 처리하는 단위입니다. ‘따뜻한’ 다음에 어울리는 말은 문맥이 날씨인지 아침 식사인지에 따라 다릅니다. 다음 토큰을 고르고, 그것을 문맥 뒤에 붙여 다시 다음 토큰을 계산합니다.