새 대화로 AI 인용 실험하는 절차

🤔 "우리 회사 AI에 잘 나와요"라는 보고를 받았을 때

담당자가 챗GPT 화면을 캡처해 와서 우리 회사가 AI 답변에 잘 나온다고 보고하는 때가 있습니다. 그런데 그 대화창을 거슬러 올라가 보면 몇 주째 회사 업무를 물어 온 창이고, 질문에도 "우리 같은 회사"라는 말이 섞여 있습니다. 이 조건에서는 처음 묻는 고객이 받는 답과 같은 답이 나온다고 보기 어렵습니다.

AI 답변은 질문 문장과 대화 기록, 서비스에 따라서는 사용자의 기억과 설정까지 반영해 만들어집니다. 그래서 인용 여부를 확인하려면 이런 흔적을 지운 상태에서 같은 질문을 여러 번 던져야 합니다. 지금부터 결과를 부풀리는 요인과 새 대화로 인용을 확인하는 절차, 기록과 계산 방법을 정리합니다.

🔑 새 대화 인용 실험의 정의

새 대화 인용 실험은 이전 대화와 기억이 없는 새 세션에서 브랜드 이름을 주지 않은 고정 질문을 던져, 우리 페이지가 답변에 인용되는지를 반복해서 기록하는 측정 절차입니다.

세션은 AI와 주고받는 대화 한 묶음을 말합니다. 이 실험은 GEO 측정 기초에서 다룬 네 층 가운데 인용 층을 채우는 방법이고, GA4 같은 도구로는 볼 수 없는 "어떤 질문의 답변에서 인용됐는지"를 직접 확인합니다.

🧪 결과를 부풀리는 다섯 가지 오염

맛 평가를 할 때 브랜드를 가리고 컵에 번호만 붙이듯, 인용 실험도 답변에 영향을 줄 흔적을 먼저 치웁니다.

챗GPT를 예로 들면, OpenAI 도움말은 임시 채팅에서는 개인화를 위해 메모리에 접근하거나 메모리를 만들지 않는다고 설명합니다. 다만 사용자 지정 지침은 켜져 있으면 계속 따른다고 적혀 있어서, 지침은 따로 비워야 합니다. 같은 도움말은 안전 목적의 제한된 맥락은 계속 쓸 수 있다고 밝히므로, 임시 채팅이 완전히 백지상태라고 단정할 수는 없습니다. 메모리는 대화뿐 아니라 파일과 연결한 앱에서도 맥락을 가져오므로 앱 연결도 함께 확인합니다. 다른 AI 서비스의 설정 이름은 서비스마다 다르므로 각 서비스의 도움말에서 기억과 개인화를 끄는 방법을 찾아 둡니다.

📝 고정 질문 목록 만들기

질문은 실험할 때마다 바꾸지 않고 목록으로 고정합니다. 문장이 조금만 달라져도 AI 검색이 만드는 하위 검색어가 달라져서 결과를 비교할 수 없게 됩니다.

• 질문군 나누기: 준이아빠블로그라면 AI 도구 사용법, 한국어 AI 학습 자료 추천, 마케팅 측정 실무처럼 주제별로 질문군을 나눕니다
• 질문 수 정하기: 쿠팡과 네이버의 robots.txt 분석에서는 상품군 대표 질문 20개를 두 달에 한 번 던지는 방법을 제안했습니다
• 브랜드 제공 여부 나누기: 이름을 주지 않는 질문과 이름을 주는 질문("OO는 어떤 회사야?")을 다른 목록으로 두고 결과도 따로 집계합니다

이름을 주지 않는 질문은 자연 발견을, 이름을 주는 질문은 AI가 우리를 어떻게 설명하는지를 봅니다. 두 결과를 섞어 합치면 자연 발견이 실제보다 높게 보입니다.

아래는 가상의 원두 쇼핑몰이 만든 질문 목록의 일부입니다.

질문은 고객이 실제로 쓸 법한 말투로 적습니다. 서치 콘솔의 검색어 목록이나 고객 문의에 자주 들어오는 문장이 좋은 재료이고, 마케팅 문구처럼 다듬은 문장은 실제 질문과 달라 결과를 부풀리기 쉽습니다.

🔁 실험을 진행하는 일곱 단계

1. 질문 목록 고정: 질문 원문을 문서로 저장합니다
2. 환경 준비: 새 대화를 열고 메모리와 지침, 앱 연결을 앞의 표대로 정리합니다
3. 반복 횟수 정하기: 같은 질문도 답이 매번 달라질 수 있어서 질문마다 세 번처럼 횟수를 정해 반복합니다
4. 원문 기록: 답변 원문과 인용 링크를 그대로 저장합니다. 캡처만 남기면 링크 주소를 나중에 확인할 수 없습니다
5. 언급과 인용 나누기: 이름이 언급된 응답과 우리 URL이 출처로 붙은 응답을 따로 집계합니다
6. 실패 응답 표시: 오류가 나거나 답변을 거부한 응답은 제외 사유와 함께 적습니다
7. 같은 주기로 반복: 두 달에 한 번처럼 주기를 정하고 같은 목록으로 다시 돌립니다

기록 장부는 아래처럼 한 응답을 한 줄로 적습니다. 값은 설명을 위한 가상 예입니다.

🧮 인용률 계산과 해석

질문 20개를 세 번씩 던지면 응답은 60개입니다. 오류 응답이 2개였다면 분모는 58이고, 그중 우리 URL이 인용된 응답이 7개면 URL 인용률은 약 12.1%입니다. 이름만 언급된 응답은 따로 집계해 이름 언급률로 둡니다. 가상 숫자로 든 예이고, 핵심은 분모와 제외 사유를 함께 남기는 데 있습니다.

해석할 때 조심할 점은 세 가지입니다.

• 한 번의 미발견으로 단정하지 않습니다: 질문 범위와 모델, 검색 환경에 따라 결과가 달라지므로 반복 결과로 판단합니다
• 모델이 바뀐 날을 적어 둡니다: 서비스가 모델을 바꾸면 답변 방식도 바뀌어, 같은 질문 목록이라도 전후 결과를 바로 비교하기 어렵습니다
• 경쟁사도 함께 적습니다: 인용된 다른 URL을 같이 기록하면 우리 대신 누가 인용되는지, 어떤 근거로 추천되는지가 보입니다

답변에 우리 대신 인용된 페이지가 있다면 그 페이지의 문단 구조를 인용되는 페이지 구조의 기준으로 우리 페이지와 비교해 봅니다.

⚠️ 자주 하는 실수

• 업무용 대화창에서 확인합니다: 대화 기록과 메모리에 회사 정보가 남아 결과가 부풀려집니다
• 캡처만 남깁니다: 인용 링크의 실제 주소와 질문 원문을 나중에 확인할 수 없습니다
• 언급과 인용을 합쳐 집계합니다: 이름이 나온 것과 우리 페이지가 근거로 쓰인 것은 다른 결과입니다
• 질문 문장을 매번 조금씩 바꿉니다: 결과가 달라진 이유가 질문 때문인지 사이트 변화 때문인지 알 수 없습니다

❓ 자주 묻는 질문

임시 채팅이면 완전히 새로운 상태인가요?

완전히 비워진다고 보기는 어렵습니다. OpenAI 도움말은 임시 채팅이 메모리에 접근하거나 새로 만들지 않는다고 설명하지만, 사용자 지정 지침은 켜져 있으면 계속 따르고 안전 목적의 제한된 맥락은 쓸 수 있다고 밝힙니다. 지침을 비우고 앱 연결을 확인한 뒤 실험합니다.

질문마다 몇 번씩 반복해야 하나요?

정해진 기준은 없습니다. 같은 질문에도 답이 달라질 수 있으므로 최소 몇 번이라도 반복하고, 횟수를 모든 질문에 똑같이 적용하는 것이 중요합니다. 반복 횟수를 바꾸면 인용률을 이전 결과와 비교할 수 없습니다.

여러 AI 서비스를 모두 확인해야 하나요?

고객이 실제로 많이 쓰는 서비스부터 봅니다. 챗GPT와 제미나이, 퍼플렉시티처럼 서비스마다 검색해 오는 통로와 인용 방식이 달라 결과도 다르게 나오므로, 서비스 이름과 모델을 장부에 함께 적어 두면 나중에 서비스별로 나눠 볼 수 있습니다.

업체가 보여 준 인용 캡처는 어떻게 확인하나요?

질문 원문과 이전 대화, 브랜드 제공 여부, 실행 시각, 반복 결과를 함께 달라고 요청합니다. 이 정보가 없는 캡처는 자연 발견인지 재현할 수 없습니다. 업체를 검증하는 기준은 GEO 업체 검증 목록에서 이어서 다룹니다.

📋 3줄 요약

1. 새 대화 인용 실험은 이전 대화와 메모리가 없는 새 세션에서 브랜드 이름을 주지 않은 고정 질문을 반복해 던지고 우리 페이지가 답변에 인용되는지를 기록하는 측정 절차입니다.

2. 챗GPT의 임시 채팅은 메모리에 접근하거나 새 메모리를 만들지 않지만 사용자 지정 지침은 계속 따르므로 실험 전에 지침을 비우고 질문에도 회사 이름을 넣지 않습니다.

3. 질문 20개를 세 번씩 던졌다면 오류 응답을 뺀 성공 응답 수를 분모로 두고 이름이 언급된 응답과 우리 URL이 인용된 응답을 따로 집계해야 인용률을 비교할 수 있습니다.

📚 참고 자료

• OpenAI 도움말, 임시 채팅 FAQ: https://help.openai.com/ko-kr/articles/8914046-temporary-chat-faq
• OpenAI 도움말, Memory FAQ: https://help.openai.com/en/articles/8590148-memory-faq