할루시네이션(Hallucination) 뜻: AI 환각이 생기는 이유와 확인법, 책임 있는 사용

AI에게 출처를 물었더니 논문 제목과 저자, 연도까지 또박또박 알려 줬는데 검색해 보니 그런 논문이 없었던 적이 있을 겁니다. AI는 모르는 내용을 모른다고 하지 않고 그럴듯하게 지어내서 답할 때가 있습니다. 이 현상을 할루시네이션(hallucination), 한국어로 AI 환각이라고 부릅니다.

이번 수업은 할루시네이션의 뜻과 어원부터 시작해, 왜 생기는지를 채점 방식 실험으로 보여 주고, AI가 정리한 요약에서 환각을 직접 찾아보는 장치로 확인법을 익힙니다. 마지막에는 회사 자료를 AI에 넣기 전과 결과를 공유하기 전에 확인할 것, 즉 책임 있는 AI 사용 기준까지 함께 다룹니다.

첨부한 설문 기록을 두 문장으로 요약해 주세요.
+ 자료에 없거나 확실하지 않으면 "자료에 없음"이라고 답해 주세요.1
+ 요약하기 전에 근거가 되는 원문 문장을 그대로 인용해 주세요.2
+ 주장마다 근거 인용을 달고, 인용을 찾지 못한 주장은 빼 주세요.3

할루시네이션 뜻: 그럴듯하지만 사실이 아닌 답

할루시네이션(hallucination)은 AI가 그럴듯하지만 사실이 아니거나 주어진 자료와 맞지 않는 내용을 사실처럼 내놓는 현상입니다. 한국어로는 AI 환각이라고 부릅니다. 지어낸 통계, 존재하지 않는 논문이나 판례, 실제로 하지 않은 발언을 특정 인물의 말로 소개하는 경우가 대표적입니다.

AI 회사들도 같은 현상을 같은 말로 부릅니다. 오픈AI는 할루시네이션을 "언어 모델이 만든 그럴듯하지만 거짓인 진술"이라고 정의하고, 앤트로픽 개발자 문서는 클로드도 "사실과 다르거나 주어진 맥락과 맞지 않는 글"을 만들 수 있다고 적습니다. 구글 제미나이 도움말도 제미나이가 환각을 일으켜 부정확한 정보를 사실처럼 제시할 수 있다고 안내합니다.

할루시네이션에는 두 가지 모습이 있습니다.

두 번째 경우는 AI가 자료를 읽고도 생깁니다. 그래서 자료를 첨부하거나 검색을 켜도 결과를 원문과 대조하는 단계는 남겨 둡니다.

hallucination 어원과 사전 뜻

hallucination 뜻은 영어 사전에서 세 가지로 나옵니다. 메리엄웹스터 사전 기준입니다.

1. 의학: 실제 외부 자극이 없는데 무언가를 보거나 듣는 감각 경험
2. 일상: 근거 없거나 잘못된 생각, 착각
3. AI: 인공지능 알고리즘이 만든 그럴듯하지만 거짓이거나 오해를 부르는 답

hallucinate 뜻은 "환각을 겪다"이고, 같은 사전은 AI 뜻으로 "거짓이거나 오해를 부르는 결과를 만들다"를 함께 싣습니다. hallucination 어원은 라틴어 hallucinari(allucinari)이며 뜻은 "헛소리하다, 꿈꾸다"입니다. 이 라틴어는 "괴로워하다, 헤매다"라는 뜻의 그리스어 alyein이 바뀐 말입니다. 명사 hallucination이 영어에 처음 쓰인 기록은 1629년입니다.

AI 뜻이 사전에 실린 계기는 2023년입니다. 케임브리지 사전은 2023년 11월 15일 hallucinate의 정의에 "인공지능이 환각을 일으키면 거짓 정보를 만들어 낸다"는 뜻을 더하고, 이 단어를 2023 올해의 단어로 뽑았습니다. 챗GPT, 바드, 그록 같은 생성형 AI 도구가 그럴듯하지만 지어낸 사실을 내놓는 일이 많아졌다는 이유였습니다.

AI가 거짓말하는 이유: 모르면 찍도록 배웠습니다

AI는 속이려는 의도를 갖고 거짓말을 하지 않습니다. 오픈AI 연구진은 2025년 9월 논문 "Why Language Models Hallucinate"에서 환각이 남는 이유를 학습과 평가 방식이 모른다는 답보다 추측에 보상을 주기 때문이라고 설명합니다.

원인은 두 단계로 나뉩니다.

첫째, 드문 사실은 패턴으로 맞힐 수 없습니다. 언어 모델은 먼저 방대한 글에서 다음 단어를 맞히는 방식으로 배웁니다. 오픈AI 블로그는 맞춤법이나 괄호처럼 규칙이 있는 것은 학습할수록 틀리지 않지만, 반려동물의 생일처럼 드물고 제멋대로인 사실은 패턴만으로 예측할 수 없다고 설명합니다. 논문은 예를 들어 생일 정보의 20%가 학습 자료에 딱 한 번씩만 나온다면 기본 모델은 생일 질문의 적어도 20%에서 환각을 일으킬 것이라고 계산합니다.

둘째, 평가가 찍기를 보상합니다. 시험에서 모르는 문제를 비워 두면 0점이지만 찍으면 맞을 수도 있습니다. 오픈AI 연구진이 살펴본 주요 AI 평가 10개 가운데 9개가 맞으면 1점, 틀리거나 모른다고 하면 0점인 채점이었고, 모른다는 답에 부분 점수를 주는 평가는 없었습니다. 이런 채점에서 점수를 올리려면 모를 때도 찍는 편이 유리합니다. 논문은 언어 모델이 "시험을 잘 보도록" 최적화되어 있다고 표현합니다.

위 장치의 채점판이 이 차이를 보여 줍니다. 오픈AI 블로그에 실린 SimpleQA 평가 결과입니다.

정답률만 보면 o4-mini가 2%p 높습니다. 그런데 o4-mini는 거의 모든 질문에 답했고 틀린 답이 75%입니다. 정답률만 보는 채점에서는 o4-mini가 이기고, 틀린 답에 감점을 주면 순위가 뒤집힙니다. 논문과 블로그는 환각 전용 평가를 새로 만들기보다 기존 주요 평가의 채점을 바꿔, 자신 있게 틀린 답을 모른다는 답보다 무겁게 깎자고 제안합니다.

검색을 켜면 환각이 사라질까

줄어들 수는 있지만 사라지지는 않습니다. 같은 논문은 검색과 추론이 만능 해결책은 아니라고 적습니다. 검색으로 확신할 답을 찾지 못해도, 맞힌 것만 점수를 주는 채점에서는 여전히 찍는 편이 유리하기 때문입니다. 앤트로픽 문서도 여러 기법이 환각을 크게 줄이지만 완전히 없애지는 못한다고 밝힙니다.

검색 결과를 근거로 답할 때도 AI가 페이지를 잘못 해석하거나, 페이지에 없는 내용을 보탤 수 있습니다. 자료를 찾아 붙여 답하게 하는 방식은 RAG(검색 증강 생성)에서 단계별로 다뤘습니다.

근거를 특히 확인해야 하는 질문

다음 질문은 원자료를 대조해야 답이 맞는지 판단할 수 있습니다.

• 통계와 조사 결과: "2024년 한국 SNS 광고 시장 규모는?"이라고 물었다면 조사 대상과 기간, 단위를 확인합니다.
• 논문, 책, 기사 인용: "이 주제로 발표된 논문 3개 알려 줘"라고 요청했다면 실제 출판 기록과 내용을 확인합니다.
• 특정 인물의 발언과 개인 정보: 인터뷰 날짜와 원문 기사나 영상에서 해당 발언을 찾습니다. 제미나이 도움말도 사람을 다룬 답은 다시 확인하라고 안내합니다.
• 회사 내부 정보: 공개되지 않았거나 AI에 주지 않은 자료를 알고 있는 것처럼 답하지 않는지 봅니다.
• 판례, 법령, 의료 정보: 전문 판단이 필요한 내용은 공식 원문과 전문가 확인을 거칩니다.

확인 신호 네 가지: 숫자, 이름, 날짜, 인용

AI 답변을 받으면 위 장치의 형광펜처럼 숫자, 이름, 날짜, 인용에 표시부터 합니다. 이 네 가지는 검색과 원문으로 맞는지 확인할 수 있는 부분이고, 환각이 가장 자주 숨는 곳입니다. 오픈AI 도움말도 인용, 데이터, 기술 정보, 외부 문서 언급은 항상 확인하라고 안내합니다.

표시한 곳 가운데 다음 경우는 특히 확인이 필요하다는 신호입니다. 하나에 해당한다고 바로 환각으로 판정하지는 않습니다.

1. 출처가 없는 구체적인 수치: "전년 대비 12% 증가"에 조사 기관이나 자료가 없으면 출처를 요청하고, 원문에서 비교 기간과 대상도 함께 확인합니다.
2. 첨부한 자료와 다른 설명: 자료에는 "설문 응답자의 35%"인데 답변이 "전체 고객의 35%"라고 하면 조사 대상이 바뀐 것입니다.
3. 확인되지 않는 인용 링크: 링크가 열리지 않으면 제목이나 발행 기관으로 다시 찾습니다. 페이지가 옮겨졌을 수도 있으므로 링크 오류만으로 지어냈다고 판단하지 않습니다. 페이지가 열려도 그 내용이 답을 뒷받침하는지 확인합니다.
4. 추정과 확인된 사실을 섞은 답: 추정 자체는 환각이 아니지만, 계산 근거가 없거나 추정치를 실제 조사 결과처럼 소개했다면 그대로 인용하지 않습니다.

AI에게 "정확해?"라고 되묻는 것만으로는 확인이 되지 않습니다. 법원 결정문에 실린 사례에서도 변호사가 챗GPT에게 판례가 진짜냐고 묻자, 챗GPT는 실제 판례이며 법률 데이터베이스에서 찾을 수 있다고 답했습니다. 그 판례는 존재하지 않았습니다.

예시 두 가지로 확인법 익히기

쉬운 예시: 설문 요약에서 환각 찾기

위 장치의 설문 요약을 단계별로 풀어 보겠습니다. 원문과 답변은 연습을 위해 만든 가상 자료입니다.

원문: 9월 1일부터 7일까지 신규 고객 20명이 설문에 응답했습니다. 이 중 7명이 배송 안내가 부족하다고 답했습니다. 기존 고객은 이번 설문에 참여하지 않았습니다.

확인할 답변: 설문 결과, 전체 고객의 35%가 배송에 불만을 느꼈습니다. 이는 업계 평균보다 높은 수치이므로 배송 업체를 교체해야 합니다.

1. 원문에서 누가, 언제, 몇 명 중 몇 명이, 무엇을 답했는지 표시합니다. 신규 고객, 9월 1일부터 7일, 20명 중 7명, 배송 안내 부족입니다.
2. 답변의 주장을 하나씩 나눕니다. 대상, 비율, 내용, 비교, 결론 다섯 곳입니다.
3. 주장마다 원문과 대조해 판정합니다.

1. 확인된 것만 남겨 다시 씁니다. "설문에 응답한 신규 고객 20명 중 7명(35%)이 배송 안내가 부족하다고 답했습니다."

숫자가 맞았다고 문장 전체가 맞는 것은 아닙니다. 이 결과는 배송 안내 문구를 먼저 살펴볼지, 고객에게 어떤 안내가 부족했는지 더 물을지 정하는 데 씁니다.

어려운 예시: 계산도 맞고 대상도 맞는데 틀린 답

이번에는 계산과 대상이 모두 맞는데도 틀린 답입니다.

원문: 체험 행사 참석자 10명에게 현장에서 물었고, 6명이 다음 행사에도 참여하고 싶다고 답했습니다. 실제 재참여 여부는 아직 확인하지 않았습니다.

확인할 답변: 참석자의 60%가 다음 행사에 재참여했습니다.

1. 숫자: 6 ÷ 10 × 100 = 60%. 계산은 맞습니다.
2. 대상: 참석자 10명. 대상도 맞습니다.
3. 내용: 원문은 참여하고 싶다는 의향이고, 답변은 실제로 재참여했다는 결과입니다. 의향과 결과는 다릅니다.
4. 시점: 원문은 재참여를 아직 확인하지 않았다고 적었는데 답변은 과거형으로 이미 일어난 일처럼 씁니다.

고친 문장은 "현장에서 답한 참석자 10명 중 6명(60%)이 다음 행사에 참여하고 싶다고 답했습니다. 실제 재참여는 아직 확인하지 않았습니다"입니다. 이런 환각은 숫자만 보면 놓치므로 동사와 시점까지 원문과 맞춰 봅니다.

환각을 줄이는 방법

앤트로픽 개발자 문서는 환각을 줄이는 기본 기법 세 가지와 고급 기법을 안내합니다. 위 장치의 프롬프트 파일에 더한 세 줄이 기본 기법입니다.

1. 모른다고 해도 된다고 허락하기: "자료에 없거나 확실하지 않으면 모른다고 답해 주세요"라고 적습니다. 문서는 이렇게 불확실함을 인정하도록 분명히 허락하면 거짓 정보가 크게 줄 수 있다고 설명합니다. 앞에서 본 채점 문제를 프롬프트에서 풀어 주는 방법입니다.
2. 원문 인용 먼저: 긴 문서를 다룰 때는 일을 시키기 전에 관련 문장을 글자 그대로 뽑게 합니다. 문서는 2만 토큰이 넘는 긴 문서에서 이 방법을 권합니다.
3. 인용으로 검증: 주장마다 근거 인용을 달게 하고, 답한 뒤 다시 인용을 찾게 해서 찾지 못한 주장은 거두게 합니다.

그다음 단계로 쓸 수 있는 방법도 있습니다.

• 같은 질문 여러 번 묻기: 같은 프롬프트를 여러 번 실행해 결과를 비교합니다. 답이 매번 다르면 환각 신호일 수 있습니다. 오픈AI 논문에서도 저자 본인의 생일을 세 번 묻자 세 번 모두 다른 날짜가 나왔습니다.
• 외부 지식 제한: "첨부한 자료 안에서만 답하고 일반 지식은 쓰지 마세요"라고 범위를 정합니다.
• 앞선 답 다시 검토시키기: 받은 답을 다음 프롬프트에 넣어 근거를 확인하거나 보충하게 합니다.

서비스 기능도 함께 씁니다. 오픈AI 도움말은 정확성이 중요하면 검색이나 심층 리서치 같은 도구를 쓰고 링크를 직접 열어 출처를 확인하라고 안내합니다. 제미나이는 답 아래나 본문 중간의 출처 버튼으로 관련 링크를 보여 주지만, 모든 답에 출처가 붙지는 않습니다.

AI 채팅에서 직접 연습하려면 새 대화에 위 설문 원문과 답변을 붙여 넣고 다음 문장을 보냅니다.

AI가 고친 문장도 위 판정표와 대조합니다. 여전히 "전체 고객"이 남아 있다면 "조사 대상은 신규 고객 응답자 20명입니다. 고쳐 주세요"라고 다시 요청합니다. 오픈AI 도움말의 표현대로 AI 답은 최종 출처가 아니라 첫 초안으로 씁니다.

실제로 생긴 일: 확인하지 않은 답의 책임

환각을 확인하지 않고 내보낸 결과가 판결로 이어진 사건이 있습니다.

Mata v. Avianca (미국 뉴욕 남부 연방지방법원, 2023년 6월 22일): 항공사를 상대로 한 소송에서 원고 측 변호사들이 챗GPT가 만든 존재하지 않는 판례와 가짜 인용을 서면에 넣었습니다. 상대방이 판례가 존재하는지 의문을 제기했지만 변호사들은 한동안 가짜 판례를 고수했습니다. P. Kevin Castel 판사는 변호사들과 법률사무소에 함께 5,000달러의 제재금을 내라고 결정했습니다. 결정문은 믿을 만한 AI 도구를 보조로 쓰는 것 자체는 부적절하지 않다고 밝히면서, 제출 자료를 확인할 책임은 변호사에게 있다고 적었습니다.

Moffatt v. Air Canada (캐나다 BC주 민사분쟁재판소, 2024년 2월 14일): 에어캐나다 웹사이트 챗봇이 유족 할인 요금을 여행 뒤에도 신청할 수 있다고 안내했지만 회사 규정은 그렇지 않았습니다. 항공사는 챗봇이 스스로 책임지는 별개의 존재라는 취지로 주장했고, 재판소는 챗봇도 항공사 웹사이트의 일부이며 웹사이트의 모든 정보는 항공사 책임이라고 판단했습니다. 항공사는 손해배상과 이자, 비용을 합쳐 812.02캐나다달러를 지급하라는 결정을 받았습니다.

두 사건에서 문제가 된 것은 AI를 썼다는 사실이 아니라 AI가 만든 내용을 확인하지 않고 내보낸 것입니다. 첫 사건은 AI 답을 받아 쓴 사용자의 책임을, 두 번째 사건은 AI 챗봇을 고객 안내에 쓴 회사의 책임을 보여 줍니다.

책임 있는 AI 사용: 입력 전과 공유 전

책임 있는 AI 사용(Responsible AI Use)은 AI에 넣을 자료와 사용 조건을 확인하고, 결과의 사실관계와 영향을 검토하는 태도와 절차입니다. 환각 확인은 그 가운데 공유 전 단계에 들어갑니다. 위 장치의 두 관문처럼 자료가 AI에 들어갈 때와 결과가 밖으로 나갈 때 나눠서 확인합니다.

입력 전에 확인할 것

• 도구와 계정: 회사가 승인한 서비스와 계정인지 봅니다. 개인 계정의 학습 끄기 설정이나 유료 요금제가 회사 자료 입력을 자동으로 허용하지는 않습니다.
• 개인정보와 기밀: 고객 실명, 연락처, 미공개 매출, 인사 정보가 들어 있는지 봅니다. 이름만 가려도 주문번호나 상세 사연으로 사람을 알아볼 수 있으면 가린 것으로 보지 않습니다.
• 입력 기준 목록: 그대로 넣어도 되는 자료, 가려서 넣을 자료, 넣으면 안 되는 자료를 미리 나눠 둡니다. 판단이 어려우면 자료 종류와 목적, 쓸 서비스를 사내 담당자에게 설명하고 확인합니다.

공유 전에 확인할 것

• 사실관계: 숫자, 이름, 날짜, 인용을 원문과 대조합니다.
• 자료에 없는 약속: 고객 답장 초안에 "무료 교환이 가능합니다"처럼 정책에 없는 약속이 붙지 않았는지 봅니다. 두 번째 판결 사례가 바로 이 경우입니다.
• 저작권: 다른 사람의 글이나 이미지를 그대로 옮기거나 비슷하게 바꾼 결과는 아닌지 봅니다.
• 편향: 특정 집단을 깎아내리거나 고정관념을 강화하는 표현이 없는지 봅니다.
• 기록: 어느 단계에 어떤 도구를 썼는지 남겨 두면 문제가 생겼을 때 원인을 추적할 수 있습니다.

다음 일은 AI가 혼자 결정하게 두지 않습니다. 계약서처럼 법적 효력이 있는 문서의 최종본, 의료와 법률과 재무의 최종 판단, 채용과 해고와 평가 결정, 고객 개인정보가 담긴 외부 발송입니다. 이런 일은 해당 업무의 승인 기준과 전문가 검토를 따르고, 사람이 한 번 읽었다는 사실만으로 검토를 마쳤다고 보지 않습니다.

대화를 학습에 쓰지 않게 하는 설정

개인 계정은 대화를 모델 개선에 쓸지 직접 고를 수 있습니다. 2026년 10월 22일 각 서비스 도움말 기준입니다.

학습에 쓰지 않는 것과 보관하지 않는 것은 다릅니다. 클로드는 좋아요나 싫어요 같은 피드백을 보내면 해당 대화를 학습에 쓸 수 있다고 안내하고, 제미나이는 사람 검토자가 볼 수 있으니 보이고 싶지 않은 기밀은 넣지 말라고 안내합니다. 회사용 요금제와 API는 학습 정책이 따로 있으므로 회사가 정한 계정과 범위를 따릅니다.

인공지능기본법과 AI 결과물 표시

한국의 「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법」(인공지능기본법)은 2026년 1월 22일부터 시행 중입니다. 제31조 투명성 확보 의무는 생성형 AI를 이용한 제품이나 서비스를 제공하는 인공지능사업자에게 적용됩니다. 사업자는 AI 기반으로 운영된다는 사실을 이용자에게 미리 알리고, 결과물이 생성형 AI로 만들어졌다는 사실을 표시해야 합니다. 실제와 구별하기 어려운 음향, 이미지, 영상은 이용자가 분명히 알 수 있게 표시합니다.

과태료는 사전 고지 의무(제31조제1항)를 지키지 않은 경우에 3천만 원 이하로 정해져 있습니다. 이 의무는 AI를 업무에 쓰는 개인 이용자 모두가 아니라 서비스를 제공하는 사업자를 대상으로 합니다. 다만 우리 회사가 고객 응대 챗봇처럼 AI를 쓴 서비스를 제공한다면 해당될 수 있으므로 법무 담당자와 확인합니다.

자주 묻는 질문

할루시네이션 뜻이 뭔가요?

AI가 그럴듯하지만 사실이 아니거나 주어진 자료와 맞지 않는 내용을 사실처럼 내놓는 현상입니다. 한국어로 AI 환각이라고 부르며, 영어 hallucination의 원래 뜻은 실제 자극 없이 무언가를 보거나 듣는 환각입니다.

hallucination 어원은 무엇인가요?

라틴어 hallucinari(allucinari)에서 왔고 "헛소리하다, 꿈꾸다"라는 뜻입니다. 이 라틴어는 그리스어 alyein("괴로워하다, 헤매다")이 바뀐 말입니다. 영어 명사의 첫 기록은 1629년이고, AI 뜻은 케임브리지 사전이 2023년 정의에 더하며 올해의 단어로 뽑았습니다.

AI는 왜 거짓말을 하나요?

속이려는 의도는 없습니다. 오픈AI 연구진은 드문 사실은 패턴으로 맞힐 수 없고, 맞힌 것만 점수를 주는 평가가 모를 때도 찍도록 보상하기 때문에 그럴듯한 오답이 남는다고 설명합니다.

검색 기능을 켜면 환각이 사라지나요?

줄어들 수는 있지만 사라지지는 않습니다. 검색 결과를 잘못 해석하거나 페이지에 없는 내용을 보탤 수 있으므로, 출처 링크를 직접 열어 해당 문장이 있는지 확인합니다.

내 대화가 학습에 쓰이지 않게 하려면 어떻게 하나요?

챗GPT는 데이터 제어의 "모두를 위한 모델 개선"을, 클로드는 개인정보 설정의 Model Improvement를, 제미나이는 Keep Activity를 끕니다. 챗GPT 임시 채팅과 클로드 시크릿 채팅은 학습에 쓰지 않습니다. 회사 자료는 이 설정과 별개로 회사가 허용한 도구와 계정에서만 다룹니다.

AI로 만든 글에는 꼭 AI 표시를 해야 하나요?

인공지능기본법 제31조의 표시 의무는 생성형 AI를 이용한 제품이나 서비스를 제공하는 인공지능사업자에게 적용됩니다. 개인이 업무 초안에 AI를 썼다고 이 조항의 의무가 생기지는 않지만, 회사 규정이나 거래처 계약에서 표시를 요구할 수 있으니 따로 확인합니다.

마무리: 할루시네이션을 다루는 기준

참고 자료

• Kalai 외, Why Language Models Hallucinate(2025)
• 오픈AI: Why language models hallucinate
• 앤트로픽 개발자 문서: Reduce hallucinations
• 오픈AI 도움말: Does ChatGPT tell the truth?
• 구글 제미나이 도움말: Learn about responses from Gemini Apps
• 메리엄웹스터 사전: hallucination
• 메리엄웹스터 사전: hallucinate
• 케임브리지 대학: Cambridge Dictionary names 'hallucinate' Word of the Year 2023
• Mata v. Avianca 제재 결정문(2023)
• Moffatt v. Air Canada, 2024 BCCRT 149
• 오픈AI 도움말: Data Controls FAQ
• 앤트로픽 개인정보 센터: Is my data used for model training?
• 구글 제미나이 앱 개인정보 보호 허브
• 국가법령정보센터: 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법