Choose a default theme

You can change your theme from the menu

문맥 임베딩

문맥 임베딩은 같은 토큰도 주변 문맥에 따라 다른 벡터 표현을 갖도록 처리한 결과입니다. '먹는 배'와 '항구의 배'처럼 문맥이 의미 해석에 주는 단서를 반영할 수 있으나 모호한 문장이 항상 해소되는 것은 아닙니다.

다른 이름: 문맥화 표현 · Contextual Embedding


같은 표현도 주변에 따라 역할이 달라집니다

단어의 의미와 문장 안에서의 역할은 앞뒤 표현에 영향을 받습니다. 대명사가 누구를 가리키는지, 어떤 사건이 먼저인지도 문맥을 통해 판단합니다.

토큰의 초기 숫자 표현만으로 모든 경우를 고정해 두기보다, 신경망이 다른 토큰의 정보를 이용해 표현을 변환하도록 학습할 수 있습니다. 이렇게 문맥이 반영된 표현은 다음 예측이나 다른 작업에 사용됩니다.


모델이 볼 수 있는 문맥에는 범위가 있습니다

자기회귀 생성 모델은 다음 토큰을 만들 때 앞서 제공된 토큰들을 이용합니다. 아직 생성하지 않은 미래 정답은 알 수 없습니다. 반면 일부 인코더 모델은 주어진 문장의 양쪽 문맥을 함께 처리합니다.

문맥 창이 길어도 그 안의 모든 정보를 항상 정확하게 사용한다는 보장은 없습니다. 긴 자료 속의 중요한 조건을 놓치거나 서로 다른 사건을 섞을 수도 있습니다.


사람에게도 애매한 문장은 애매할 수 있습니다

문맥이 부족하면 여러 해석이 가능합니다. '민지가 준에게 그가 늦었다고 말했다'에서 '그'가 누구인지 불분명할 수 있습니다. 모델이 한 가지 답을 냈다고 모호성이 사라지는 것은 아닙니다.

좋은 입력은 대상·시점·요청을 분명하게 제공합니다. 필요한 경우 질문을 되묻거나 조건별로 답하도록 하는 편이 근거 없는 단정보다 유용합니다.


예시와 비교

표현

문맥 단서

과수원에서 배를 땄다

과수원·땄다

항구에서 배를 탔다

항구·탔다

그가 늦었다

앞선 인물 관계가 필요



주의할 해석

문맥을 이용하는 능력과 사람처럼 모든 상황을 이해한다는 주장은 다릅니다. 애매함과 정보 부족을 구별해 설명해야 합니다.


추가 설명

문맥 표현은 각 층과 위치에서 달라집니다. 눈으로 그린 단어 지도 한 장이 모든 문맥에서의 표현을 완전히 설명하지는 않습니다.



출처와 더 읽을 자료

Hugging Face — How do Transformers work? — 트랜스포머 계열·사전학습·미세조정 · 확인 2026-10-29

Hugging Face — Causal language modeling — 미래를 가리는 다음 토큰 예측 · 확인 2026-10-29