할루시네이션 뜻과 실제 사례: 모델별 환각률 데이터로 확인하기
홍승협(준이아빠) / 데이터 분석, AI 실무 교육
할루시네이션은 AI가 사실이 아닌 내용을 사실인 것처럼 만들어 내는 현상입니다. 법정에서 벌어진 실제 사건과 모델별 환각률 공개 데이터, 그리고 최신 상위 모델이 오히려 높게 측정되는 이유를 정리했습니다.
3줄 요약
이번 방문에서 한 편은 바로 볼 수 있습니다.
할루시네이션(Hallucination)은 AI가 사실이 아닌 내용을 사실인 것처럼 만들어 내는 현상입니다. 한국어로는 환각이라고 옮깁니다.
이 글에서는 개념 설명보다 실제로 무슨 일이 벌어졌는지, 그리고 모델마다 얼마나 다른지를 공개된 데이터로 확인합니다. 개념과 대처법을 처음부터 정리한 내용은 환각(Hallucination) 알아보기에 따로 있습니다.
할루시네이션의 핵심 특징
위 표는 OpenAI 연구진이 논문에 실은 실제 응답입니다. "애덤 칼라이의 박사 논문 제목이 무엇인지"를 묻는 질문에 세 모델이 각각 다른 제목과 연도를 답했고, 표 아래에는 셋 다 제목도 연도도 맞히지 못했다고 적혀 있습니다.
여기서 드러나는 특징이 이 현상의 핵심입니다.
할루시네이션의 문제는 틀린다는 것이 아니라, 모른다고 말하지 않고 구체적으로 틀린다는 데 있습니다. 답변에 연도와 기관명이 붙어 있어 사실처럼 보입니다.
같은 논문은 이런 답변을 "허세"에 가깝다고 표현합니다. "잘 모르겠습니다"가 아니라 "2002년 카네기멜런대학"처럼 확신에 찬 형태로 나옵니다.
Q. 그러면 검색 기능을 사용 설정하면 해결되나요? A. 줄어들지만 사라지지는 않습니다. 검색으로 가져온 문서를 요약하는 과정에서도 원문에 없는 내용이 섞입니다. 아래에서 다룰 벤치마크가 정확히 그 상황을 측정합니다.
법정에서 벌어진 실제 사건들
가장 기록이 잘 남은 영역은 법조계입니다. 판례 인용은 형식이 정해져 있어서 조작 여부를 확인하기 쉽고, 법원 문서로 남기 때문입니다.
2023년, 마타 대 아비앙카 사건. 뉴욕의 변호사가 챗GPT에 판례를 물었고, 모델은 사건 번호와 인용문까지 붙은 판례를 여러 건 제시했습니다. 전부 존재하지 않는 판례였습니다. 담당 판사는 변호사와 소속 로펌에 제재를 부과했습니다. 이 사건이 널리 알려진 계기가 됐습니다.
이후 사례는 계속 이어졌습니다. 보도에 따르면 다음과 같은 일이 있었습니다.
| 시점 | 내용 |
|---|---|
| 오리건 | 조작된 인용 23건과 지어낸 인용문 8건을 제출한 변호사 두 명에게 11만 달러 제재 |
| 2026년 2월, 네브래스카 | 이혼 항소심 서면의 인용 63건 가운데 57건에 결함, 그중 20건이 존재하지 않는 판례 |
| 2026년 6월, 미시시피 | 양측 모두 조작된 인용을 제출해 두 변호사가 해당 법원에서 2년간 활동 정지, 재판 자체가 취소 |
2026년 4월 기준으로 법원과 심판 절차에 AI 생성 내용이 제출된 사례가 1,300건 넘게 정리됐다는 집계도 있습니다.
조작된 인용은 형식이 완벽합니다. 사건명, 번호, 연도, 인용문까지 갖춰져 있어 형식만 보고는 걸러낼 수 없습니다. 원문을 직접 열어 보는 것 외에 확인 방법이 없습니다.
Q. 법률처럼 전문 영역에서만 생기는 문제인가요? A. 형식이 정해진 영역이라 발각이 쉬웠을 뿐입니다. 통계 수치, 논문 인용, 제품 사양, 법 조항처럼 구체적인 값이 들어가는 자리라면 어디서나 같은 일이 생깁니다. 다만 확인하는 사람이 없으면 드러나지 않습니다.
모델별 환각률 공개 데이터
벡타라(Vectara)가 공개하는 리더보드가 널리 쓰입니다. 짧은 문서를 주고 요약하게 한 뒤, 원문에 없는 내용을 넣는 빈도를 측정합니다. 아래는 공개 저장소에 올라온 수치의 일부입니다.
| 모델 | 환각률 | 답변률 | 평균 요약 길이 |
|---|---|---|---|
| finix_s1_32b (앤트그룹) | 1.8% | 99.5% | 172단어 |
| GPT-5.4 nano | 3.1% | 100.0% | 144단어 |
| Gemini 2.5 Flash Lite | 3.3% | 99.5% | 96단어 |
| Llama 3.3 70B | 4.1% | 99.5% | 65단어 |
| DeepSeek V3.2 | 5.3% | 96.6% | 65단어 |
| GPT-4.1 | 5.6% | 99.9% | 92단어 |
| Grok 3 | 5.8% | 93.0% | 96단어 |
| Gemini 3.1 Flash Lite | 8.2% | 99.6% | 63단어 |
| GPT-5.5 | 9.3% | 100.0% | 130단어 |
| Claude Haiku 4.5 | 9.8% | 99.5% | 115단어 |
| Gemini 3.1 Pro | 10.4% | 99.4% | 108단어 |
| Claude Sonnet 4.6 | 10.6% | 99.9% | 115단어 |
| Claude Opus 4.7 | 12.0% | 98.0% | 149단어 |
표를 보면 예상과 다른 부분이 있습니다. 상위 모델이 소형 모델보다 환각률이 높게 나옵니다. GPT-5.4 nano가 3.1%인데 GPT-5.5는 9.3%이고, Claude Haiku가 Claude Opus보다 낮습니다.
상위 모델이 더 높게 나오는 이유
이 결과를 "큰 모델이 더 거짓말을 한다"로 읽으면 잘못입니다. 측정 방식을 봐야 합니다.
이 벤치마크는 주어진 문서를 요약할 때 원문에 없는 내용을 넣는지만 봅니다. 일반 지식 질문에서의 정확도가 아닙니다.
여기서 두 가지가 작용합니다.
- 요약 길이: 표의 마지막 열을 보면 환각률이 높은 모델일수록 요약이 긴 편입니다. 길게 쓸수록 원문 밖 문장을 덧붙일 여지가 늘어납니다
- 답변률: 요약을 거부하면 환각도 세지 않습니다. 답변률이 낮은 모델은 어려운 문서를 건너뛰어 유리해질 수 있습니다
즉 이 수치는 원문에 얼마나 충실한지를 재는 지표입니다. 요약이나 자료 정리처럼 원문을 벗어나면 안 되는 작업에서는 그대로 참고할 만하지만, 추론이나 창작 과제의 성능과는 다른 이야기입니다.
환각률 지표는 과제 종류에 따라 뜻이 달라집니다. 문서 요약에서 낮은 모델이 지식 질문에서도 정확하다는 보장은 없습니다.
Q. 그러면 요약 작업에는 작은 모델을 쓰는 게 낫나요? A. 원문을 벗어나지 않는 것이 중요한 작업이라면 검토해 볼 만합니다. 다만 같은 모델이라도 제공 경로에 따라 결과가 달라진다는 지적이 있어, 실제 쓰는 환경에서 직접 재보는 편이 확실합니다.
완전히 없앨 수 없는 이유
OpenAI 연구진은 이 현상이 왜 계속 남는지를 다룬 논문을 냈습니다. 핵심 주장은 학습이 아니라 평가 방식에 있습니다.
대부분의 평가가 정답률만 봅니다. 그러면 모델 입장에서는 객관식 시험과 같은 상황이 됩니다. 모르는 문제를 비워 두면 확실히 0점이고, 찍으면 맞을 가능성이 있습니다. 논문은 이 구조가 모른다고 말하기보다 추측하도록 부추긴다고 설명합니다.
그래서 해법도 평가 쪽에서 제시됩니다. "모르겠습니다"를 오답과 같게 채점하지 않고, 확신에 찬 오답에 더 큰 감점을 주는 방식입니다.
모델이 모른다고 말하지 않는 것은 성격이 아니라 채점 방식의 결과입니다. 지금의 평가가 추측에 유리하게 설계되어 있습니다.
이 설명을 받아들이면 실무의 태도도 정해집니다. 모델을 최신으로 바꾸는 것으로 해결되는 문제가 아니라, 확인 절차를 작업에 넣어야 하는 문제입니다.
실무에서 확인하는 순서
앞의 사건들에서 공통으로 빠져 있던 것은 확인 단계였습니다. 최소한 다음 세 가지는 자동화하지 않고 사람이 봅니다.
- 구체적인 값이 붙은 답은 원문을 엽니다. 사건 번호, 논문 제목, 통계 수치, 조항 번호가 여기 해당합니다
- 출처 링크는 눌러서 확인합니다. 링크가 존재하는 것과 그 내용이 답변과 맞는 것은 다릅니다
- 요약 결과는 원문과 대조합니다. 특히 원문에 없던 숫자나 고유명사가 요약에 등장하면 그 자리부터 봅니다
환각을 알아채는 신호와 프롬프트 단계에서 줄이는 방법은 환각(Hallucination) 알아보기에 정리해 두었습니다.
자주 묻는 질문
AI 환각률은 어디서 확인하나요?
벡타라(Vectara)가 공개하는 리더보드가 널리 쓰입니다. 짧은 문서를 주고 요약하게 한 뒤 원문에 없는 내용을 넣는 빈도를 재는 방식이고, 수치는 공개 저장소에 올라옵니다. 다만 요약이라는 한 가지 작업을 기준으로 한 값이라 모든 용도의 정확도를 대표하지는 않습니다.
좋은 모델일수록 환각이 적은 것 아닌가요?
꼭 그렇지는 않습니다. 리더보드에서 상위 모델이 더 높은 환각률을 보이는 경우가 있습니다. 요약을 길고 풍부하게 쓸수록 원문에 없는 문장이 섞일 여지가 커지기 때문입니다. 환각률만 보지 말고 답변률과 평균 요약 길이를 함께 봐야 비교가 성립합니다.
환각을 완전히 없앨 수 있나요?
없앨 수 없습니다. 언어 모델은 다음에 올 말을 확률로 고르는 구조라, 모르는 것을 모른다고 말하는 대신 그럴듯한 문장을 만들어 내는 경향이 남습니다. 줄이는 쪽으로 접근하고, 숫자와 날짜와 인용은 사람이 원문에서 확인하는 절차를 남겨 두는 편이 현실적입니다.
Sources
이 글이 도움이 되셨다면 공유해 주세요
메신저로 바로 보내거나 링크를 복사할 수 있습니다.
Written by
데이터로 설명하는 마케터
공개 벤치마크에서 최신 상위 모델의 환각률이 소형 모델보다 높게 나오는 경우가 있습니다. 그 이유로 가장 적절한 것은 무엇일까요?
이 글이 도움이 되었나요?
다음 단계
이어서 읽기 좋은 글
SSOT(Single Source of Truth) 뜻과 AI 시대에 문서를 한곳에서만 고쳐야 하는 이유
SSOT(Single Source of Truth)는 하나의 정보를 한곳에서만 고치고 나머지 곳은 전부 그곳을 참조하게 만드는 원칙입니다. 데이터베이스 설계에서 나온 이 말이 지표 정의서와 노션 문서, 클로드 코드의 CLAUDE.md까지 이어지는 이유와 작은 팀에서 만드는 순서를 정리했습니다.
같이 보면 좋은 글
독파모 학습데이터 개방은 과기정통부와 한국지능정보사회진흥원이 2026년 8월 27일 독자 AI 파운데이션 모델 정예팀 다섯 곳의 학습용 데이터 29종을 AI허브에 무료로 푼 조치입니다. 무엇이 올라와 있고 어떻게 받는지, 내려받을 수 없는 자료는 무엇인지 실제 화면으로 핵심 규모와 이용 조건을 설명합니다.
2026. 9. 7.
AI 말투는 특정 낱말과 문장 구조가 반복되면서 읽는 사람이 알아채는 글쓰기 습관입니다. 깃허브 풀 리퀘스트 46만 건 어휘 분석, 싫어하는 표현 일곱 가지, 한국어에서 자리와 갈래와 축이 새어 나간 교정 기록, 고치는 방법 열 가지를 정리했습니다.
2026. 9. 3.
브라우저 조작 AI는 API나 전용 연동이 없는 서비스에도 사람이 화면을 쓰듯 지시를 넣는 방식입니다. 메일이 오면 봇이 걸러 알리고, 이동 중에 스마트폰으로 집 컴퓨터에 접속해 작업을 맡기는 2026년 8월의 업무 방식을 정리했습니다.
2026. 8. 26.
제로 데이터 리텐션(ZDR)은 API로 보낸 프롬프트와 응답을 처리가 끝난 뒤 남기지 않는 설정입니다. OpenAI가 2026년 8월 19일 발표한 Private Safety Processing과 앤트로픽의 30일 보관 정책을 비교하고, 회사 데이터를 AI에 넣기 전에 확인할 항목을 정리했습니다.
2026. 8. 20.ADVERTISEMENT