— views
AI 입문 23화. 먹는 배와 타는 배를 어떻게 구별할까?
“배가 크다.” 이 문장만으로는 과일인지 배를 타는 이야기인지 분명하지 않을 수 있습니다. “항구에 들어온 배가 크다”라고 덧붙이면 단서가 늘어납니다.

같은 표현도 주변에 따라 역할이 달라집니다
단어의 의미와 문장 안에서의 역할은 앞뒤 표현에 영향을 받습니다. 대명사가 누구를 가리키는지, 어떤 사건이 먼저인지도 문맥을 통해 판단합니다.
토큰의 초기 숫자 표현만으로 모든 경우를 고정해 두기보다, 신경망이 다른 토큰의 정보를 이용해 표현을 변환하도록 학습할 수 있습니다. 이렇게 문맥이 반영된 표현은 다음 예측이나 다른 작업에 사용됩니다.
모델이 볼 수 있는 문맥에는 범위가 있습니다
자기회귀 생성 모델은 다음 토큰을 만들 때 앞서 제공된 토큰들을 이용합니다. 아직 생성하지 않은 미래 정답은 알 수 없습니다. 반면 일부 인코더 모델은 주어진 문장의 양쪽 문맥을 함께 처리합니다.
문맥 창이 길어도 그 안의 모든 정보를 항상 정확하게 사용한다는 보장은 없습니다. 긴 자료 속의 중요한 조건을 놓치거나 서로 다른 사건을 섞을 수도 있습니다.
사람에게도 애매한 문장은 애매할 수 있습니다
‘민지가 준에게 그가 늦었다고 말했다’에서 ‘그’가 누구인지는 불분명합니다. 모델이 하나를 골라도 원문의 모호성은 남습니다.
좋은 입력은 대상·시점·요청을 분명하게 제공합니다. 필요한 경우 질문을 되묻거나 조건별로 답하도록 하는 편이 근거 없는 단정보다 유용합니다.
같은 배라는 표현에 다른 단서가 붙습니다
‘배를 땄다’와 ‘배를 탔다’에서 ‘배’는 각각 과일과 탈것입니다. 같은 토큰이라도 뒤의 동사를 반영한 벡터는 달라질 수 있습니다.
한눈에 정리하기
표현 | 문맥 단서 |
|---|---|
과수원에서 배를 땄다 | 과수원·땄다 |
항구에서 배를 탔다 | 항구·탔다 |
그가 늦었다 | 앞선 인물 관계가 필요 |
조금 더 깊이 · 선택해서 읽기
문맥 표현은 각 층과 위치에서 달라집니다. 눈으로 그린 단어 지도 한 장이 모든 문맥에서의 표현을 완전히 설명하지는 않습니다.
함께 볼 위키
출처와 더 읽을 자료
Hugging Face — How do Transformers work? — 트랜스포머 계열·사전학습·미세조정 · 확인 2026-10-29
Hugging Face — Causal language modeling — 미래를 가리는 다음 토큰 예측 · 확인 2026-10-29
만화는 AI로 제작한 비유이며, 별도 표시가 없는 수치는 가상 예시입니다.
Comments (0)