VIDEO NOTE

LLM 할루시네이션 원인 분석과 모델별 대응 및 실무 프롬프트 팁

안될공학 - IT 테크 신기술 · 15분 · 중급 · 26. 10. 21. · AI 초보 탈출 › LLM 원리 이해

LLM은 진실을 검증하는 엔진이 아니라 다음 단어를 통계적으로 예측하는 구조이며, 모른다고 답할 때 감점하는 평가 체계 탓에 그럴듯한 거짓말을 만들어낸다. 주요 AI 기업들은 데이터 필터링, RAG와 에이전트 아키텍처, '모름'을 허용하는 평가 보상 설계로 이를 보완하고 있다. 사용자는 모르면 모른다고 답하게 권한을 부여하고 근거를 먼저 요구하는 프롬프트 설계를 적용해 오답률을 크게 낮출 수 있다.

핵심

LLM은 진실 여부를 직접 배우지 않고 문맥상 이어질 단어의 통계적 확률만 학습하므로 구조적으로 할루시네이션이 발생한다.
정답률(accuracy)만 측정하고 기권에 0점을 주는 평가 체계가 모델에게 '모른다' 대신 거짓말이라도 찍어 맞추도록 유도했다.
OpenAI는 연구를 통해 기권에 페널티를 주지 않는 평가 보상 방식을 도입했으며 GPT-5 계열에서 이를 반영하고 있다.
AA-Omniscience 벤치마크 기준 Gemini 3 Pro는 정확도 53%로 높지만 오답 중 88%가 할루시네이션이었고, Claude 4.5 Sonnet은 정확도 31%지만 할루시네이션 비율이 48%로 가장 낮았다.
Anthropic은 모른다고 말할 권한 부여, 원문 직접 인용 강제, 주장별 출처 표기를 프롬프트 기본 지침으로 제시한다.
실무에서는 근거를 먼저 적고 결론을 나중에 도출하게 하거나, 생성과 비평을 2단계로 분리하는 프롬프트로 거짓 답변을 억제할 수 있다.

RAISE LAB 에서 배우는 사람에게

클로드 기반 에이전트를 구축할 때 모델이 무리하게 답을 지어내지 않도록 모름을 허용하는 지침과 단계별 검증 구조를 설계하는 기준점을 제공한다.

챕터

LLM 원리 이해