할루시네이션 뜻과 실제 사례: 모델별 환각률 데이터로 확인하기
할루시네이션은 AI가 사실과 맞지 않는 내용을 그럴듯하게 생성하는 현상입니다. 법원 기록과 문서 요약 벤치마크를 살펴보고, 수치의 범위를 이해하며 원문과 답변을 대조하는 방법을 익힙니다.
목차
세 줄로 먼저 읽기
이번 방문에서 한 편은 바로 볼 수 있습니다.
할루시네이션(Hallucination)은 AI가 사실과 맞지 않는 내용을 그럴듯하게 생성하는 현상입니다. 한국어로는 환각이라고 옮깁니다. 사람에게 쓰는 의학적 의미와는 구별합니다.
문장이 자연스럽고 날짜나 출처까지 붙어 있으면 처음에는 틀린 부분을 찾기 어렵습니다. 이 글에서는 실제 기록과 요약 평가 수치를 살펴본 뒤, 작은 원문에서 답변을 대조해 봅니다. 개념과 대처법의 기초는 환각 알아보기에도 정리했습니다.
구체적인 답변도 틀릴 수 있습니다
위 표는 OpenAI 연구진이 논문에 제시한 응답 예시입니다. 애덤 칼라이의 박사 논문 제목을 묻자 세 모델이 서로 다른 제목과 연도를 답했습니다. 표 설명에는 셋 다 제목과 연도를 맞히지 못했다고 적혀 있습니다. 이 표는 당시 예시이며, 현재 모든 모델의 정확도를 비교한 순위표는 아닙니다. 논문 원문
구체적인 답변은 확인하기 쉬워 보이지만, 구체적이라는 이유만으로 사실이 되지는 않습니다.
검색 기능을 쓰면 확인할 자료를 얻을 수 있습니다. 그래도 다른 문서를 잘못 선택하거나 요약에 원문에 없는 내용을 넣을 수 있어, 검색됐다는 사실만으로 검증이 끝나지는 않습니다.
법원 기록에서 확인할 수 있는 사례
2023년 마타 대 아비앙카 사건에서는 변호사들이 ChatGPT가 만든 존재하지 않는 판례와 인용을 제출했습니다. 법원은 인용의 존재를 의심하는 상황에서도 이를 확인하지 않고 유지한 행동 등을 검토해 변호사들과 로펌에 제재를 부과했습니다. 판례는 법원의 기존 판단이며, 사건 이름과 번호를 써 놓았다고 실제 판결이 존재하는 것은 아닙니다. 2023년 6월 22일 제재 결정문
2026년 프로소스키 대 리건 사건의 네브래스카 대법원 판결문에는 존재하지 않는 판례뿐 아니라 실제 판례에 없는 인용문과 잘못된 해석도 정리돼 있습니다. 법원은 문제가 된 항소 서면을 제외하고 해당 항소를 기각했으며 변호사 징계 담당 기구에 회부했습니다. 여기서는 2026년 3월 20일 판결의 내용을 다룹니다. 판결문 재수록
두 사례에서 배울 점은 링크나 사건명의 존재와 그 원문에 실제로 그런 내용이 있는지를 따로 확인해야 한다는 점입니다. 이 사건들의 빈도로 전체 AI 사용의 오류 확률을 계산할 수는 없습니다.
출처 형식을 갖춘 답도 원문과 대조해야 합니다. 존재하는 문서를 잘못 인용할 수도 있습니다.
이 문제는 법률 분야에만 한정되지 않습니다. 논문 제목, 제품 사양, 날짜와 통계처럼 구체적인 내용을 확인할 때도 같은 구별이 필요합니다.
모델별 환각률 표는 무엇을 측정할까요?
벤치마크는 정해진 조건으로 성능을 비교하는 평가입니다. 리더보드는 평가 결과를 나열한 비교표입니다. Vectara 리더보드는 문서 요약을 원문과 비교하며 HHEM-2.3이라는 자동 평가 모델을 사용합니다. 일반 지식 문제의 정답률이 아닙니다. 원문 자체가 틀렸어도 요약이 그것을 그대로 옮길 수 있으므로, 원문과의 일치가 현실의 사실까지 맞다는 보장은 아닙니다.
아래는 2026년 10월 3일 확인한 표의 일부이며, 원본의 갱신 표시는 9월 22일입니다. 요약 길이는 반올림했습니다. Vectara 원본과 평가 방법
| 원본의 모델 식별자 | 환각률 | 답변률 | 평균 요약 길이 |
|---|---|---|---|
| antgroup/finix_s1_32b | 1.8% | 99.5% | 172단어 |
| openai/gpt-5.4-nano-2026-03-17 | 3.1% | 100.0% | 144단어 |
| google/gemini-2.5-flash-lite | 3.3% | 99.5% | 96단어 |
| openai/gpt-5.5 | 9.3% | 100.0% | 130단어 |
| anthropic/claude-haiku-4-5-20251001 | 9.8% | 99.5% | 115단어 |
| anthropic/claude-sonnet-4-6 | 10.6% | 99.9% | 115단어 |
환각률은 해당 조건에서 요약이 원문과 일치하지 않는 정도를 나타내므로 낮을수록 좋고, 답변률은 요약에 응답한 비율입니다. 길이는 생성한 요약의 평균 단어 수입니다. 평가 모델도 오류가 있을 수 있습니다. 자료, 요청문, 모델 버전과 평가 방식이 달라지면 수치도 달라질 수 있습니다.
표에 없는 결론까지 만들면 안 됩니다
이 표의 3.1%를 ‘일상 질문 100개 중 정확히 3개가 틀린다’고 해석하면 안 됩니다. 반대로 최신 모델로 바꾸면 절대 개선되지 않는다는 결론도 낼 수 없습니다. 내 작업의 자료와 요구사항으로 비교해야 합니다.
길이가 원인이라고 단정할 수도 없습니다. 표에서 172단어인 finix의 환각률은 1.8%이고, 130단어인 GPT-5.5는 9.3%입니다. 이 비교만 봐도 ‘요약이 길수록 무조건 더 많이 틀린다’는 법칙은 성립하지 않습니다. 답변률과 길이는 함께 볼 조건이며, 차이의 원인을 입증한 것은 아닙니다.
모른다고 말하는 답을 어떻게 평가할까요?
OpenAI 연구진은 학습과 평가 방식이 불확실성을 인정하기보다 추측하도록 유도할 수 있다고 설명합니다. 평가만이 유일한 원인이라는 뜻은 아닙니다. 연구 설명
객관식 시험을 생각하면 이해하기 쉽습니다. 모르는 문제를 비워 두면 0점이고 찍으면 맞을 가능성이 있습니다. 정답 수만으로 점수를 매기면 많이 추측하는 쪽이 유리해질 수 있습니다. 연구진은 확신에 찬 오답과 적절한 답변 유보를 구별해 평가해야 한다고 제안합니다.
실제 사용에서도 빈칸 없이 모두 답했는지만 보면 안 됩니다. 자료에 없는 항목을 미확인으로 남기는 답이 그럴듯한 숫자를 만들어 넣는 답보다 목적에 맞을 수 있습니다. 단, 모든 질문에 답하지 않는 것이 좋은 결과라는 뜻도 아닙니다. 확인 가능한 내용은 답해야 합니다.
작은 원문으로 직접 대조해 봅니다
다음은 연습용 가상 안내문입니다. AI 서비스에 가입하거나 파일을 올릴 필요 없이 읽고 비교할 수 있습니다.
토요일 오후 2시, 중앙도서관 2층에서 독서 모임을 엽니다.
준비물은 읽던 책 한 권입니다.
참가비와 정원은 아직 정하지 않았습니다.가상 답변이 ‘토요일 오후 3시에 중앙도서관 2층에서 열리는 무료 독서 모임이며 정원은 20명입니다’라고 나왔다고 가정합니다. 원문과 나란히 놓고 시간, 장소, 참가비, 모집 인원인 정원을 각각 비교합니다. 이 연습에서는 네 항목만 확인하며, 준비물을 포함한 전체 안내문 요약을 평가하는 것은 아닙니다.
| 확인 항목 | 원문 | 답변의 문제 |
|---|---|---|
| 시간 | 오후 2시 | 오후 3시로 잘못 바꿈 |
| 장소 | 중앙도서관 2층 | 일치함 |
| 참가비 | 미정 | 무료라고 확정함 |
| 정원 | 미정 | 20명이라고 만들어 넣음 |
수정 답은 ‘토요일 오후 2시, 중앙도서관 2층에서 열리며 참가비와 정원은 미정입니다’가 됩니다. 모든 문장을 다시 쓰기 전에 무엇이 다르고 무엇이 없는지 구별하는 것이 핵심입니다.
이미 쓰는 AI 앱에서 연습한다면 안내문과 함께 ‘이 자료만 근거로 시간, 장소, 참가비, 정원을 적고 미정인 값은 미정으로 남겨 주세요’라고 요청할 수 있습니다. 답이 틀리면 ‘시간은 원문의 어느 문장에 있나요?’처럼 근거를 찾게 한 뒤 수정된 결과를 다시 대조합니다. AI가 스스로 맞다고 답한 것만으로 확인을 끝내지 않습니다.
혼자 반복할 때는 원문 마지막 줄을 ‘참가비는 무료이며 정원은 12명입니다’로 바꿉니다. 새 답에는 무료와 12명이 나와야 합니다. 이전에 미정이었다는 이유로 이번에도 미정이라고 답하면 최신 원문을 반영하지 못한 것입니다.
실제 자료에서 확인하는 순서
숫자나 날짜, 인용이 중요한 답을 받으면 해당 항목부터 확인합니다. 출처 링크를 열어 제목과 작성일이 맞는지 보고, 그 항목이 본문에서 어떻게 설명됐는지 찾습니다. 문서가 존재해도 근거 문장이 없다면 확인된 사실로 쓰지 않습니다.
링크가 열리지 않는 경우는 ‘거짓으로 확인됨’이 아니라 ‘아직 확인하지 못함’으로 남깁니다. 공식 사이트에서 문서 제목을 다시 찾거나 다른 원본 위치를 확인합니다. 대조할 자료가 없다면 수치나 인용을 확정해 전달하지 않습니다.
환각을 완전히 없앨 수 있나요?
모든 상황에서 오류가 0이라고 보장할 수는 없습니다. 그렇다고 어떤 제한된 작업에서도 완벽한 결과가 불가능하다고 단정할 필요는 없습니다. 자료 범위를 제한하고 검사를 넣어 오류를 줄이며, 중요한 답은 실제 근거로 확인합니다.
Sources
제대로 이해했는지 한 문제로 확인해 볼까요?
답을 고르면 바로 풀이가 나와요.
문서 요약 벤치마크에서 환각률이 낮게 나온 모델에 관해 어떤 해석이 적절할까요?
이 글이 도움이 되었나요?
메일, 회의록, 리포트처럼 반복되는 일을 AI로 자동화하는 순서와 안전장치를 다룹니다
코스 전체 보기 →
새 글과 AI 소식을 메일로 받아 보세요
AI가 바꾸는 일과 도구, 측정 실무 이야기를 매주 한 번 보내 드려요.