AI 답의 출처: 학습한 지식, 검색 결과, 첨부 자료 구분하기

AI에게 받은 답 가운데 어떤 문장은 정확하고 어떤 문장은 틀립니다. 한 답 안에서도 정확도가 다른 이유는 문장마다 출처가 다르기 때문입니다. 어디에서 온 정보인지 구분할 수 있으면 무엇을 믿고 무엇을 확인할지 정할 수 있습니다.

정의: 한 대화에 섞이는 세 출처

AI 채팅의 답에는 보통 세 곳에서 온 정보가 섞입니다.

예를 들어 "제미나이는 구글이 만든 AI 서비스입니다"는 학습한 지식으로 답할 수 있는 내용입니다. 반면 지난주 바뀐 요금은 검색 결과나 사용자가 첨부한 요금표 화면이 있어야 정확하게 답할 수 있습니다. 답을 받으면 출처가 어디인지부터 확인합니다.

모델은 학습을 마친 시점 이후를 모릅니다

언어 모델은 특정 시점까지 모은 글로 학습을 마치고 공개됩니다. 그 시점을 흔히 학습 데이터 기준일(지식 컷오프, Knowledge Cutoff)이라고 부릅니다. 기준일 이후의 일은 학습한 글에 없으므로 모델 혼자서는 알 수 없습니다.

가상의 예를 들어 보겠습니다. 어떤 모델이 9월 20일까지의 글로 학습을 마쳤고 오늘이 10월 7일이라면, 그 사이에 나온 발표나 바뀐 규정은 모릅니다. 이때 최신 정보는 아래 두 경로로 얻습니다.

• 검색 도구: AI가 웹에서 새로 찾아 읽습니다. 서비스에 따라 자동으로 켜지거나 사용자가 켜야 합니다.
• 첨부 자료: 사용자가 공지, 표, 화면을 직접 넣어 줍니다. 그 대화 안에서만 읽습니다.

모델이 모르는 내용을 물어도 "모른다"고 답하지 않고 그럴듯한 문장을 만들 수 있습니다. 이유는 AI는 어떻게 답을 만들까요에서 설명했습니다.

문장만 봐서는 틀린 줄 모르는 네 항목

어색한 문장은 읽으면서 바로 보입니다. 하지만 아래 네 항목은 틀려도 문장이 자연스러워서 원문과 대조하지 않으면 알아채기 어렵습니다.

1. 숫자와 계산: 합계, 비율, 금액
2. 이름과 직함: 사람, 기관, 제품 이름
3. 날짜: 마감일, 시행일, 행사일
4. 최신 소식과 인용: 법령, 기사, 판례, 발표 내용

외부에 공유하거나 보고서에 넣기 전에는 최소한 이 네 항목을 원문과 대조합니다. 답 전체를 처음부터 다시 검토하지 않아도, 이 네 항목만 짚어도 큰 실수는 대부분 막을 수 있습니다.

직접 확인해 보기

검색 기능이 있는 AI 채팅을 쓰고 있다면 아래 순서로 출처를 구분해 봅니다.

1. 검색이 꺼진 상태(또는 검색하지 말라는 요청)로 "지금 이 서비스의 개인 유료 요금은 얼마야?"라고 묻습니다. 답에 출처가 붙는지, 날짜 기준이 적혀 있는지 봅니다.
2. 새 대화에서 "웹에서 찾아서 확인 날짜와 출처 링크를 함께 알려 줘"라고 다시 묻습니다.
3. 답에 붙은 출처 링크를 열어, 금액과 날짜가 링크의 원문과 같은지 대조합니다.
4. 두 답의 금액이 다르다면 어느 쪽이 공식 요금 페이지와 같은지 기록합니다.

검색 기능이 없는 서비스라면 공식 요금 페이지 화면을 캡처해 첨부하고 같은 질문을 해 봅니다. 첨부한 화면의 숫자가 답에 그대로 반영되는지 확인하는 것만으로도 출처 구분 연습이 됩니다.

관련 개념

• 할루시네이션: 사실과 다른 내용을 사실처럼 말하는 현상입니다.
• AI 도구, 에이전트, 스킬: 검색 같은 도구가 모델과 함께 일하는 방식입니다.
• 책임감 있는 AI 사용: 결과를 공유하기 전에 확인할 점입니다.