— views
AI 입문 37화. AI는 왜 그럴듯한 틀린 말을 할까? — 환각
AI가 어떤 논문의 제목·저자·발표 연도를 또박또박 알려줬습니다. 그런데 검색해 보니 그런 논문을 찾을 수 없습니다.
그럴듯한 문장도 근거가 없을 수 있습니다
이 시리즈에서 환각은 사실과 다르거나 주어진 근거로 뒷받침되지 않는 내용을 모델이 생성하는 현상을 가리킵니다. 존재하지 않는 출처, 잘못된 날짜, 원문에 없는 요약 내용 등이 사례입니다.
사람을 속이려는 의도를 가졌다고 가정할 필요는 없습니다. 모델이 어떤 방식으로 틀리는지 관찰하고 줄이는 것이 실용적인 문제입니다. 모든 오타나 실패가 같은 원인에서 생기는 것도 아닙니다.
다음 토큰 목표가 사실 검증 그 자체는 아닙니다
언어 모델은 문맥 뒤에 이어질 표현의 패턴을 배웁니다. 학습 자료가 잘못되었거나 필요한 정보가 부족하거나, 답을 만드는 과정에서 관계를 잘못 연결할 수 있습니다.
사전학습 뒤에 추가 학습을 하고 검색을 붙여 오류를 줄일 수 있지만 모든 질문에 대한 진실 판정기를 얻는 것은 아닙니다. 최신 사건이나 출처의 정확한 문구처럼 확인이 중요한 질문에서는 별도 근거가 필요합니다.
주장과 근거를 짝지어 확인합니다
가상의 답변이 '행사는 토요일 2시, 장소는 중앙공원'이라고 말한다면 날짜·시간·장소를 각각 나눕니다. 공식 공지에서 실제로 그 주장을 지지하는지 확인합니다. 링크가 열리는 것만으로는 충분하지 않습니다.
출처가 주장을 뒷받침하는지는 발행일과 적용 대상까지 맞춰 판단합니다.
말투와 확신의 표현에 속지 않습니다
긴 설명, 구체적인 숫자, 전문적인 말투, '확실합니다'라는 문장은 그 자체로 검증이 아닙니다. 반대로 조심스러운 말투라고 자동으로 정확한 것도 아닙니다.
실무에서는 중요한 주장별 출처 확인, 계산의 재검산, 근거 없는 항목의 분리 같은 절차를 정해두면 좋습니다. 얼마나 엄격히 확인할지는 오류가 생겼을 때의 영향에 맞춥니다.
그럴듯한 답을 확인 가능한 주장으로 나누기

열리는 링크도 작년 공지라면 올해 행사의 근거가 아닙니다. 날짜·장소·시간을 각각 대조하고 확인되지 않은 항목은 따로 표시하세요.
한눈에 정리하기
답변의 주장 | 실제 확인할 근거 |
|---|---|
발표 연도 | 논문 원문 또는 출판 기록 |
인용 문구 | 원문에 해당 문구가 있는지 |
행사 일정 | 해당 연도의 공식 공지 |
계산 결과 | 입력·단위·계산식 재검산 |
조금 더 깊이 · 선택해서 읽기
환각의 정의와 측정 기준은 연구마다 다릅니다. 외부 세계의 사실과 맞는지, 주어진 문서에 충실한지, 출처를 정확히 인용했는지 등을 나눠 평가하면 문제를 더 구체적으로 파악할 수 있습니다.
함께 볼 위키
출처와 더 읽을 자료
Lin 외 — TruthfulQA (2021) — 유창함과 사실성의 구별 · 확인 2026-10-29
Ouyang 외 — Training language models to follow instructions with human feedback (2022) — SFT·사람의 응답 비교·RLHF · 확인 2026-10-29
Lewis 외 — Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (2020) — 외부 검색과 생성의 연결 · 확인 2026-10-29
만화는 AI로 제작한 비유이며, 별도 표시가 없는 수치는 가상 예시입니다.
Comments (0)