Choose a default theme

You can change your theme from the menu

인터넷의 모든 문장에 사람이 일일이 정답을 달아주기는 어렵습니다. 그렇다면 원래 자료의 일부를 예측 문제로 바꾸면 어떨까요? 다음 토큰 예측에서는 원문의 뒷부분이 정답 역할을 합니다. 다른 방식으로는 문장의 일부를 가리고 그 부분을 복원하도록 할 수 있습니다. 예를 들어 '과수원에 [빈칸]가 열렸다'에서 가린 단어를 맞히게 하는 것이 이런 마스킹 연습입니다. 다음 토큰 예측과 빈칸 복원은 같은 목적식이 아니므로 구별합니다. 여

300

“배가 크다.” 이 문장만으로는 과일인지 배를 타는 이야기인지 분명하지 않을 수 있습니다. “항구에 들어온 배가 크다”라고 덧붙이면 단서가 늘어납니다. 단어의 의미와 문장 안에서의 역할은 앞뒤 표현에 영향을 받습니다. 대명사가 누구를 가리키는지, 어떤 사건이 먼저인지도 문맥을 통해 판단합니다. 토큰의 초기 숫자 표현만으로 모든 경우를 고정해 두기보다, 신경망이 다른 토큰의 정보를 이용해 표현을 변환하도록 학습할 수 있습니다.

300

벡터와 행렬이라는 이름이 낯설어도 숫자 목록과 표라고 생각하면 출발할 수 있습니다. 가상의 상품을 [단맛, 크기] 두 점수로 표현해 [2, 3]이라고 적어봅시다. 두 숫자의 순서는 중요합니다. [3, 2]와는 다른 표현입니다. 실제 학습 임베딩의 축이 이런 해석 가능한 속성이라는 뜻은 아닙니다. 벡터끼리 더하거나 일정한 배수를 곱해 정보를 결합할 수 있습니다. 같은 길이와 같은 의미의 좌표를 사용해야 계산 결과를 일관되게 해석

300

토큰 번호만으로는 '빵'과 '식빵'이 어떤 관계인지 표현하기 어렵습니다. 임베딩은 대상을 계산 가능한 숫자 묶음으로 표현하는 방법입니다. 토큰 임베딩은 각 토큰 ID에 대응하는 벡터를 사용합니다. 벡터는 여러 숫자를 순서대로 모은 것입니다. 간단한 설명에서는 2~3개 좌표로 그릴 수 있지만 실제 모델의 표현은 훨씬 많은 차원을 가질 수 있습니다. 학습을 통해 표현이 조정되면 작업에 필요한 관계를 숫자 계산으로 다룰 수 있습니다

100

문장을 단어 수로 세는 사람과 토큰으로 처리하는 모델은 같은 경계를 사용하지 않을 수 있습니다. 토큰은 문자 하나, 단어 전체, 단어의 일부, 공백을 포함한 조각 등 여러 형태일 수 있습니다. 어떤 조각을 쓰는지는 토크나이저에 따라 달라집니다. 한국어 한 단어가 언제나 한 토큰인 것은 아닙니다. 예를 들어 '학교에서'를 '학교'와 '에서'로 나누는 모습을 상상할 수 있지만, 이는 설명용 분할입니다. 특정 모델이 실제로 그렇게

200

“오늘 아침에는 따뜻한…” 다음에 어떤 말이 올까요? 커피, 국, 빵처럼 여러 후보가 가능합니다. 언어 모델은 텍스트의 통계적 관계를 모델링합니다. 대표적인 자기회귀 언어 모델은 앞선 토큰들을 보고 다음 토큰의 확률 분포를 계산합니다. 토큰은 텍스트를 처리하는 단위입니다. ‘따뜻한’ 다음에 어울리는 말은 문맥이 날씨인지 아침 식사인지에 따라 다릅니다. 다음 토큰을 고르고, 그것을 문맥 뒤에 붙여 다시 다음 토큰을 계산합니다.

200