인공지능
Parent category
No parent
Subcategories
No items have been published yet.
Articles
언어 모델의 샘플링은 다음 토큰 후보의 확률 분포에 따라 토큰을 선택하는 방법입니다. 가장 높은 점수의 후보를 고르는 탐욕적 선택과 구별되며, 온도나 후보 제한 설정이 결과의 분포에 영향을 줄 수 있습니다. 다른 이름: 토큰 샘플링 · Sampling 모델은 어휘의 토큰마다 로짓이라는 점수를 냅니다. 소프트맥스는 점수들을 양수이고 합이 1인 값으로 바꾸는 대표적인 함수입니다. 이를 다음 토큰의 확률 분포로 해석할 수 있습니다.
인간 피드백 기반 강화학습은 사람의 평가나 선호를 학습 신호로 활용해 모델을 조정하는 접근입니다. 대표적인 언어 모델 절차에서는 응답 비교로 보상 모델을 학습하고 그 보상을 이용해 강화학습을 수행합니다. 다른 이름: RLHF · Reinforcement Learning from Human Feedback SFT에서는 바람직한 응답 예시를 직접 보여줄 수 있습니다. 선호 학습에서는 같은 입력에 대한 여러 응답 중 어느 쪽을 더
자연어 처리의 토큰은 모델이 텍스트를 처리할 때 사용하는 단위입니다. 단어·문자·단어 조각 등으로 구성될 수 있으며 분할 방식은 토크나이저에 따라 달라집니다. 토큰 ID는 어휘 항목의 식별 번호입니다. 다른 이름: 토큰 · Token · 토크나이저 · Tokenizer 토큰은 문자 하나, 단어 전체, 단어의 일부, 공백을 포함한 조각 등 여러 형태일 수 있습니다. 어떤 조각을 쓰는지는 토크나이저에 따라 달라집니다. 한국어 한




