할루시네이션 뜻과 실제 사례: 모델별 환각률 데이터로 확인하기
할루시네이션은 AI가 사실이 아닌 내용을 사실인 것처럼 만들어 내는 현상입니다. 법정에서 벌어진 실제 사건과 모델별 환각률 공개 데이터, 그리고 최신 상위 모델이 오히려 높게 측정되는 이유를 정리했습니다.
할루시네이션(Hallucination)은 AI가 사실이 아닌 내용을 사실인 것처럼 만들어 내는 현상입니다. 한국어로는 환각이라고 옮깁니다.
이 글에서는 개념 설명보다 실제로 무슨 일이 벌어졌는지, 그리고 모델마다 얼마나 다른지를 공개된 데이터로 확인합니다. 개념과 대처법을 처음부터 정리한 내용은 환각(Hallucination) 알아보기에 따로 있습니다.
할루시네이션의 핵심 특징
위 표는 OpenAI 연구진이 논문에 실은 실제 응답입니다. "애덤 칼라이의 박사 논문 제목이 무엇인가"라는 질문에 세 모델이 각각 다른 제목과 연도를 답했고, 표 아래에는 셋 다 제목도 연도도 맞히지 못했다고 적혀 있습니다.
여기서 드러나는 특징이 이 현상의 핵심입니다.
할루시네이션의 문제는 틀린다는 것이 아니라, 모른다고 말하지 않고 구체적으로 틀린다는 데 있습니다. 답변에 연도와 기관명이 붙어 있어 사실처럼 읽힙니다.
같은 논문은 이런 답변을 "허세"에 가깝다고 표현합니다. "잘 모르겠습니다"가 아니라 "2002년 카네기멜런대학"처럼 확신에 찬 형태로 나옵니다.
Q. 그러면 검색 기능을 켜면 해결되나요? A. 줄어들지만 사라지지는 않습니다. 검색으로 가져온 문서를 요약하는 과정에서도 원문에 없는 내용이 섞입니다. 아래에서 다룰 벤치마크가 정확히 그 상황을 측정합니다.
법정에서 벌어진 실제 사건들
가장 기록이 잘 남은 영역은 법조계입니다. 판례 인용은 형식이 정해져 있어서 조작 여부를 확인하기 쉽고, 법원 문서로 남기 때문입니다.
2023년, 마타 대 아비앙카 사건. 뉴욕의 변호사가 챗GPT에 판례를 물었고, 모델은 사건 번호와 인용문까지 붙은 판례를 여러 건 제시했습니다. 전부 존재하지 않는 판례였습니다. 담당 판사는 변호사와 소속 로펌에 제재를 부과했습니다. 이 사건이 널리 알려진 계기가 됐습니다.
이후 사례는 계속 이어졌습니다. 보도에 따르면 다음과 같은 일이 있었습니다.
| 시점 | 내용 |
|---|---|
| 오리건 | 조작된 인용 23건과 지어낸 인용문 8건을 제출한 변호사 두 명에게 11만 달러 제재 |
| 2026년 2월, 네브래스카 | 이혼 항소심 서면의 인용 63건 가운데 57건에 결함, 그중 20건이 존재하지 않는 판례 |
| 2026년 6월, 미시시피 | 양측 모두 조작된 인용을 제출해 두 변호사가 해당 법원에서 2년간 활동 정지, 재판 자체가 취소 |
2026년 4월 기준으로 법원과 심판 절차에 AI 생성 내용이 제출된 사례가 1,300건 넘게 정리됐다는 집계도 있습니다.
조작된 인용은 형식이 완벽합니다. 사건명, 번호, 연도, 인용문까지 갖춰져 있어 형식만 보고는 걸러낼 수 없습니다. 원문을 직접 열어 보는 것 외에 확인 방법이 없습니다.
Q. 법률처럼 전문 영역에서만 생기는 문제인가요? A. 형식이 정해진 영역이라 발각이 쉬웠을 뿐입니다. 통계 수치, 논문 인용, 제품 사양, 법 조항처럼 구체적인 값이 들어가는 자리라면 어디서나 같은 일이 생깁니다. 다만 확인하는 사람이 없으면 드러나지 않습니다.
모델별 환각률 공개 데이터
벡타라(Vectara)가 공개하는 리더보드가 널리 쓰입니다. 짧은 문서를 주고 요약하게 한 뒤, 원문에 없는 내용을 넣는 빈도를 측정합니다. 아래는 공개 저장소에 올라온 수치의 일부입니다.
| 모델 | 환각률 | 답변률 | 평균 요약 길이 |
|---|---|---|---|
| finix_s1_32b (앤트그룹) | 1.8% | 99.5% | 172단어 |
| GPT-5.4 nano | 3.1% | 100.0% | 144단어 |
| Gemini 2.5 Flash Lite | 3.3% | 99.5% | 96단어 |
| Llama 3.3 70B | 4.1% | 99.5% | 65단어 |
| DeepSeek V3.2 | 5.3% | 96.6% | 65단어 |
| GPT-4.1 | 5.6% | 99.9% | 92단어 |
| Grok 3 | 5.8% | 93.0% | 96단어 |
| Gemini 3.1 Flash Lite | 8.2% | 99.6% | 63단어 |
| GPT-5.5 | 9.3% | 100.0% | 130단어 |
| Claude Haiku 4.5 | 9.8% | 99.5% | 115단어 |
| Gemini 3.1 Pro | 10.4% | 99.4% | 108단어 |
| Claude Sonnet 4.6 | 10.6% | 99.9% | 115단어 |
| Claude Opus 4.7 | 12.0% | 98.0% | 149단어 |
표를 보면 예상과 다른 부분이 있습니다. 상위 모델이 소형 모델보다 환각률이 높게 나옵니다. GPT-5.4 nano가 3.1%인데 GPT-5.5는 9.3%이고, Claude Haiku가 Claude Opus보다 낮습니다.
상위 모델이 더 높게 나오는 이유
이 결과를 "큰 모델이 더 거짓말을 한다"로 읽으면 잘못입니다. 측정 방식을 봐야 합니다.
이 벤치마크는 주어진 문서를 요약할 때 원문에 없는 내용을 넣는지만 봅니다. 일반 지식 질문에서의 정확도가 아닙니다.
여기서 두 가지가 작용합니다.
- 요약 길이: 표의 마지막 열을 보면 환각률이 높은 모델일수록 요약이 긴 편입니다. 길게 쓸수록 원문 밖 문장을 덧붙일 여지가 늘어납니다
- 답변률: 요약을 거부하면 환각도 세지 않습니다. 답변률이 낮은 모델은 어려운 문서를 건너뛰어 유리해질 수 있습니다
즉 이 수치는 원문에 얼마나 충실한가를 재는 지표입니다. 요약이나 자료 정리처럼 원문을 벗어나면 안 되는 작업에서는 그대로 참고할 만하지만, 추론이나 창작 과제의 성능과는 다른 이야기입니다.
환각률 지표는 과제 종류에 따라 뜻이 달라집니다. 문서 요약에서 낮은 모델이 지식 질문에서도 정확하다는 보장은 없습니다.
Q. 그러면 요약 작업에는 작은 모델을 쓰는 게 낫나요? A. 원문을 벗어나지 않는 것이 중요한 작업이라면 검토해 볼 만합니다. 다만 같은 모델이라도 제공 경로에 따라 결과가 달라진다는 지적이 있어, 실제 쓰는 환경에서 직접 재보는 편이 확실합니다.
완전히 없앨 수 없는 이유
OpenAI 연구진은 이 현상이 왜 계속 남는지를 다룬 논문을 냈습니다. 핵심 주장은 학습이 아니라 평가 방식에 있습니다.
대부분의 평가가 정답률만 봅니다. 그러면 모델 입장에서는 객관식 시험과 같은 상황이 됩니다. 모르는 문제를 비워 두면 확실히 0점이고, 찍으면 맞을 가능성이 있습니다. 논문은 이 구조가 모른다고 말하기보다 추측하도록 부추긴다고 설명합니다.
그래서 해법도 평가 쪽에서 제시됩니다. "모르겠습니다"를 오답과 같게 채점하지 않고, 확신에 찬 오답에 더 큰 감점을 주는 방식입니다.
모델이 모른다고 말하지 않는 것은 성격이 아니라 채점 방식의 결과입니다. 지금의 평가가 추측에 유리하게 설계되어 있습니다.
이 설명을 받아들이면 실무의 태도도 정해집니다. 모델을 최신으로 바꾸는 것으로 해결되는 문제가 아니라, 확인 절차를 작업에 넣어야 하는 문제입니다.
실무에서 확인하는 순서
앞의 사건들에서 공통으로 빠져 있던 것은 확인 단계였습니다. 최소한 다음 세 가지는 자동화하지 않고 사람이 봅니다.
- 구체적인 값이 붙은 답은 원문을 엽니다. 사건 번호, 논문 제목, 통계 수치, 조항 번호가 여기 해당합니다
- 출처 링크는 눌러서 확인합니다. 링크가 존재하는 것과 그 내용이 답변과 맞는 것은 다릅니다
- 요약 결과는 원문과 대조합니다. 특히 원문에 없던 숫자나 고유명사가 요약에 등장하면 그 자리부터 봅니다
환각을 알아채는 신호와 프롬프트 단계에서 줄이는 방법은 환각(Hallucination) 알아보기에 정리해 두었습니다.
3줄 요약:
- 할루시네이션은 AI가 사실이 아닌 내용을 사실처럼 만들어 내는 현상이고, 모른다고 하지 않고 구체적으로 틀린다는 점이 핵심 문제입니다.
- 공개 벤치마크에서 최신 상위 모델이 소형 모델보다 환각률이 높게 나오기도 하는데, 이 지표가 문서 요약 과제에서 원문 이탈만 측정하기 때문입니다.
- 평가 방식이 추측을 보상하는 구조라 모델 교체로는 해결되지 않으며, 구체적인 값이 붙은 답은 원문을 직접 여는 절차가 필요합니다.
Sources
이 글이 도움이 되셨다면 공유해 주세요
메신저로 바로 보내거나 링크를 복사할 수 있습니다.
다음으로 읽어볼 글
AX(AI Transformation)는 AI를 업무 절차와 판단 구조에 결합해 조직이 일하는 방식을 다시 설계하는 전환입니다. AX 뜻과 DX와의 차이, 엔비디아의 토큰 사용량 평가, 컨설팅 현장에서 확인한 평범한 병목을 공개 연구 자료와 함께 정리했습니다.
2026. 8. 1.
알파고 이후 바둑 AI는 인간이 이길 수 없는 존재로 여겨졌습니다. 그런데 2026년 7월 신진서 9단이 알파고보다 더 발전한 카타고를 2승 1패로 꺾었습니다. 카타고가 얼마나 강해졌는지, 그런데도 인간이 다시 이길 수 있었던 이유는 무엇인지 정리합니다.
2026. 7. 21.
온톨로지는 AI 시대에 갑자기 만들어진 개념이 아닙니다. 2,400년 전 아리스토텔레스의 카테고리 분류에서 시작해, 주요 AI 기업이 지금 가장 적극적으로 활용하는 지식 표현 방식입니다.
2026. 5. 13.
세탁기는 가사노동을 줄여줄 줄 알았지만 빨래 시간은 오히려 늘었다고 합니다. 산업혁명의 기계도, 케인스의 주 15시간 노동 예측도 결과는 달랐습니다. AI는 다를까요. 자동화의 역사를 통해 조심스럽게 짚어보았습니다.
2026. 5. 4.공개 벤치마크에서 최신 상위 모델의 환각률이 소형 모델보다 높게 나오는 경우가 있습니다. 그 이유로 가장 적절한 것은 무엇일까요?
