할루시네이션 뜻과 실제 사례: 모델별 환각률 데이터로 확인하기

할루시네이션(Hallucination)은 AI가 사실과 맞지 않는 내용을 그럴듯하게 만들어 내는 현상입니다. 한국어로는 환각이라고 옮기며, 사람에게 쓰는 의학 용어와는 다른 뜻입니다.

문장이 자연스럽고 날짜나 출처까지 붙어 있으면 틀린 부분을 찾기 어렵습니다. 아래에서는 실제 법원 기록과 요약 평가 수치를 보고, 받은 답을 원문과 대조하는 순서까지 이어 갑니다. 개념과 대처법의 기초는 환각 알아보기에도 정리했습니다.

구체적인 답변도 틀릴 수 있습니다

위 표는 OpenAI 연구진이 2025년 논문에 실은 응답 예시입니다. 애덤 칼라이의 박사 논문 제목을 묻자 세 모델이 서로 다른 제목과 연도를 답했고, 표 설명에는 셋 다 제목과 연도를 맞히지 못했다고 적혀 있습니다. 제목과 연도처럼 구체적인 답은 믿을 만해 보이지만, 답이 구체적이라고 해서 사실인 것은 아닙니다.

검색 기능을 켜면 확인할 자료를 함께 받을 수 있습니다. 그래도 AI가 엉뚱한 문서를 고르거나 요약에 원문에 없는 내용을 넣을 수 있어서, 검색 결과가 붙은 답도 원문을 열어 봐야 검증이 끝납니다.

법원 기록에 남은 사례 두 건

2023년 마타 대 아비앙카 사건에서는 변호사들이 ChatGPT가 만든 존재하지 않는 판례와 인용을 법원에 제출했습니다. 판례는 법원이 이전 사건에서 내린 판단입니다. 법원은 인용이 실제로 있는지 의심받는 상황에서도 변호사들이 확인하지 않고 주장을 유지한 점 등을 검토해 변호사들과 로펌에 제재를 부과했습니다.

2026년 프로소스키 대 리건 사건의 네브래스카 대법원 판결문(2026년 3월 20일)에는 존재하지 않는 판례뿐 아니라 실제 판례에 없는 인용문과 잘못된 해석도 정리돼 있습니다.

두 사건에서 문제가 된 인용

문제 유형	마타 대 아비앙카2023년 제재 결정	프로소스키 대 리건2026년 대법원 판결
존재하지 않는 판례	제공	제공
실제 판례에 없는 인용문	–	제공
실제 판례의 잘못된 해석	–	제공
법원의 조치	변호사와 로펌 제재	서면 제외, 항소 기각 징계 기구 회부

두 사건에서 배울 점은 사건명이나 링크가 실제로 있는지와, 그 원문에 답변 속 내용이 정말 있는지를 따로 봐야 한다는 것입니다. 존재하는 문서를 잘못 인용하는 경우도 있기 때문입니다. 이런 오류는 법률 분야에만 생기지 않습니다. 논문 제목, 제품 사양, 날짜와 통계를 확인할 때도 같은 구분이 필요합니다.

모델별 환각률 표가 측정하는 것

벤치마크는 정해진 조건으로 성능을 비교하는 평가이고, 리더보드는 그 결과를 순서대로 늘어놓은 표입니다. Vectara 리더보드는 모델이 쓴 문서 요약을 원문과 비교하며, 비교에는 HHEM-2.3이라는 자동 평가 모델을 씁니다. 이 표는 일반 지식 문제의 정답률을 측정하지 않습니다. 원문이 틀렸으면 요약도 틀린 내용을 그대로 옮기므로, 이 수치는 요약이 원문에 얼마나 충실했는지만 보여 줍니다.

아래는 2026년 10월 3일 확인한 표의 일부이고, 원본의 갱신 표시는 9월 22일입니다. 모델 이름은 원본 식별자에서 날짜와 회사명을 줄였고, 요약 길이는 반올림했습니다.

환각률은 요약이 원문과 어긋난 정도, 답변률은 요약 요청에 응답한 비율, 길이는 생성한 요약의 평균 단어 수입니다. 자료, 요청문, 모델 버전, 평가 방식이 바뀌면 수치도 달라집니다.

이 숫자로 할 수 있는 판단에는 한계가 있습니다. gpt-5.4-nano의 3.1%는 이 평가 조건에서 요약이 원문과 어긋난 비율이고, 일상 질문 100개 가운데 3개가 틀린다는 말과는 다릅니다. 요약 길이가 환각률을 좌우한다고 보기도 어렵습니다. 가장 긴 172단어를 쓴 finix가 1.8%로 가장 낮고, 130단어인 gpt-5.5는 9.3%입니다. 내 업무에 어느 모델이 나은지는 내 자료와 요구사항으로 직접 비교해야 알 수 있습니다.

모른다고 답하는 쪽을 어떻게 평가할까요?

OpenAI 연구진은 지금의 학습과 평가 방식이 모델에게 불확실하다고 인정하기보다 추측하도록 부추길 수 있다고 설명합니다. 객관식 시험에 빗대면 이해가 쉽습니다. 모르는 문제를 비워 두면 0점이지만 찍으면 맞을 가능성이 있으니, 정답 수만으로 점수를 매기면 많이 추측하는 쪽이 유리합니다.

채점 방식에 따라 달라지는 유리한 답

답의 종류	정답 수만 보는 채점	연구진이 제안한 채점
맞힌 답	점수	점수
모른다고 답함	0점	오답보다 높게 평가
확신에 찬 오답	0점	모른다는 답보다 낮게 평가

연구진은 확신에 찬 오답과 적절한 답변 유보를 구별해 평가해야 한다고 제안합니다. 실제 업무에서도 빈칸 없이 다 채운 답이 늘 좋은 답은 아닙니다. 자료에 없는 항목을 미확인으로 남긴 답이 그럴듯한 숫자를 만들어 넣은 답보다 쓸모 있습니다. 물론 자료로 확인할 수 있는 내용까지 미확인으로 남기면 그것도 원하는 결과가 아닙니다.

답을 받을 때부터 근거 문장을 붙이게 하는 요청

평소 쓰는 AI 앱에 자료를 넣고 요약을 맡길 때는, 자료에 없는 값을 비워 두라고 요청에 적습니다. 결과가 나오면 중요한 항목마다 원문의 어느 문장에서 가져왔는지 되묻습니다.

ChatGPT

첨부한 행사 안내문만 근거로 일시, 장소, 참가비, 정원을 정리해 주세요. 안내문에 없는 값은 미정으로 남겨 주세요.

일시 토요일 오후 2시
장소 중앙도서관 2층
참가비 미정
정원 미정

일시는 안내문의 어느 문장에 있나요?

첫 문장 "토요일 오후 2시, 중앙도서관 2층에서 독서 모임을 엽니다"에 있습니다.

근거 문장을 원문에서 직접 찾아 맞춰 봅니다

AI가 근거 문장을 댔다고 확인이 끝나지는 않습니다. 그 문장이 원문에 정말 있는지 원문 파일에서 검색해 맞춰 봐야 합니다. 원문에 없는 문장을 근거라고 내놓는 경우도 할루시네이션입니다.

실제 자료에서 확인하는 순서

숫자나 날짜, 인용이 중요한 답을 받으면 아래 순서로 확인합니다.

문서가 존재해도 근거 문장이 없다면 확인된 사실로 쓰지 않습니다. 링크가 열리지 않으면 거짓으로 단정하지 말고 '아직 확인하지 못함'으로 남긴 뒤, 공식 사이트에서 문서 제목으로 다시 찾거나 다른 원본 위치를 봅니다. 대조할 자료를 끝내 찾지 못한 수치나 인용은 확정된 내용으로 전달하지 않습니다.

자주 묻는 질문

환각을 완전히 없앨 수 있나요?

모든 상황에서 오류를 0으로 만드는 방법은 없습니다. 참고할 자료의 범위를 좁히고 확인 단계를 넣으면 오류를 줄일 수 있고, 중요한 답은 위 순서대로 실제 근거와 대조합니다.

Sources

• OpenAI: Why Language Models Hallucinate
• 연구 논문
• Vectara Hallucination Leaderboard
• Mata v. Avianca 제재 결정문
• Prososki v. Regan 판결문