Choose a default theme

You can change your theme from the menu

임베딩

임베딩은 토큰·문장 등의 대상을 숫자 벡터로 표현하는 방법 또는 그 결과입니다. 학습 목적에 따라 유용한 관계를 반영할 수 있지만 각 좌표축에 사람이 정한 고정 의미가 반드시 있는 것은 아닙니다.

다른 이름: Embedding


번호에서 숫자 벡터로 바꿉니다

토큰 임베딩은 각 토큰 ID에 대응하는 벡터를 사용합니다. 벡터는 여러 숫자를 순서대로 모은 것입니다. 간단한 설명에서는 2~3개 좌표로 그릴 수 있지만 실제 모델의 표현은 훨씬 많은 차원을 가질 수 있습니다.

학습을 통해 표현이 조정되면 작업에 필요한 관계를 숫자 계산으로 다룰 수 있습니다. 토큰 외에도 문장·이미지·사용자·상품을 임베딩으로 표현하는 방법이 있습니다.


가까움은 학습 목표와 계산 기준에 달려 있습니다

가상 지도에서 식빵과 바게트가 가까이 있다고 합시다. 이 지도는 관련성을 보여주는 비유입니다. 실제 임베딩의 거리나 방향은 어떤 자료와 목표로 학습했는지에 영향을 받습니다.

각 축이 맛·가격·색처럼 사람이 쉽게 이름 붙일 수 있는 속성이라고 단정하지 않습니다. 한 가지 의미가 여러 좌표에 분산될 수도 있습니다. 그림을 단순하게 그린 것과 내부 표현의 실제 구조를 구별해야 합니다.


초기 임베딩과 문맥을 거친 표현은 다릅니다

같은 토큰 ID는 보통 같은 초기 임베딩을 가져옵니다. 이후 신경망 층을 거치면 주변 토큰에 따라 표현이 달라질 수 있습니다. '배를 먹었다'와 '배를 탔다'의 차이는 문맥을 처리하는 과정에서 중요해집니다.

검색용 문장 임베딩도 모델과 사용법에 따라 달라집니다. 숫자 벡터가 있다는 이유만으로 모든 모델의 벡터를 같은 공간에 섞어 비교할 수 있는 것은 아닙니다.


예시와 비교

단계

역할

토큰 ID

조각 식별

초기 임베딩

토큰을 숫자 벡터로 표현

문맥 처리 후 표현

주변 정보가 반영된 벡터

유사도

정해진 기준으로 관계 비교



주의할 해석

임베딩은 뜻을 완벽하게 저장한 사전이 아닙니다. 유사도가 높아도 두 문장이 같은 사실을 말한다는 보장은 없습니다.


추가 설명

임베딩은 학습 가능한 표에서 찾아오거나 별도 인코더로 계산할 수 있습니다. 유사도에는 코사인 유사도·내적·거리 등 여러 기준을 사용합니다.



출처와 더 읽을 자료

Google — Embeddings — 학습된 벡터 표현 · 확인 2026-10-29

Hugging Face — Tokenizers — 텍스트 분할과 ID 변환 · 확인 2026-10-29