Marketing

GEO, SEO 시대 쿠팡과 네이버의 검색 전략 분석, robots.txt로 확인한 AI 크롤러 차단의 이유

쿠팡과 네이버 쇼핑은 GEO, SEO 시대에 AI 크롤러를 차단하는 쪽을 택한 국내 대표 플랫폼입니다. 2026년 9월 두 곳의 robots.txt를 직접 열어 확인한 내용과 인터넷 아카이브에 남은 변화, 다른 커머스와의 비교, 쿠팡 파트너스가 크롤러 대신 맡는 유통 역할을 마케팅 전략 관점에서 정리했습니다.

Share
GEO, SEO 시대 쿠팡과 네이버의 검색 전략 분석, robots.txt로 확인한 AI 크롤러 차단의 이유 대표 이미지

3줄 요약

이번 방문에서 한 편은 바로 볼 수 있습니다.

쿠팡과 네이버 쇼핑은 GEO(생성형 엔진 최적화), SEO(검색 엔진 최적화) 시대에 AI 크롤러를 차단하는 쪽을 택한 국내 대표 플랫폼입니다. 2026년 9월 2일 두 곳의 robots.txt를 브라우저로 직접 열어 확인한 결과, 쿠팡은 검색엔진 봇 8종에게만 상품 경로를 허용하고 OpenAI 봇 세 종을 이름으로 막아 두었고, 네이버 쇼핑은 AI 학습과 검색 인용 목적의 접근을 금지한다는 주석과 함께 AI 봇 10종을 차단하고 있었습니다.

요즘 마케팅 글에서 AEO(답변 엔진 최적화)와 GEO를 이야기하지 않는 곳이 드뭅니다. 챗GPT와 제미나이 답변에 인용되려면 AI 크롤러를 열어 두라는 이야기까지는 많은 분들이 들어 보셨을 겁니다. 그런데 국내 종합몰 앱 사용자 1위인 쿠팡과 국내 대표 포털인 네이버가 정반대로 문을 닫고 있다는 사실, 그리고 두 곳이 닫는 이유가 서로 다르다는 점은 잘 다뤄지지 않습니다. 이 차이를 모른 채 유행만 따라가면 우리 브랜드에 맞는 선택인지 판단할 기준이 없는 채로 robots.txt를 고치게 됩니다.

큰길에 간판을 걸지 않는 가게가 있듯, 두 플랫폼은 검색이라는 큰길에 상품을 내걸지 않는 쪽을 골랐습니다. 다만 큰길 대신 쓰는 방법은 다릅니다. 쿠팡은 전단지를 돌리는 사람에게 팔린 만큼만 수수료를 주는 쿠팡 파트너스로 밖의 손님을 받고, 네이버는 자사 검색창과 AI 안에 손님을 머물게 하는 쪽입니다. 이 글은 실제 robots.txt 파일과 인터넷 아카이브에 남은 과거 파일, 다른 커머스 플랫폼의 파일을 나란히 놓고 두 곳의 선택을 마케팅 전략으로 읽어 보려고 합니다. 쿠팡을 중심에 두고 네이버를 비교 대상으로 봅니다. 2026년 9월 기준입니다.

쿠팡 robots.txt에 실제로 적힌 내용

먼저 사실부터 확인하겠습니다. robots.txt는 사이트 최상위 경로에 두는 텍스트 파일로, 어떤 봇이 어떤 경로에 들어와도 되는지 적어 둡니다. 가게 문 앞에 붙인 안내문처럼 들어오는 쪽이 지켜 줄 때만 효력이 있고, 실제로 구글과 OpenAI, 앤트로픽도 공식 문서에서 자사 크롤러가 이 파일을 따른다고 설명합니다. 기본 개념은 robots.txt 알아보기에 정리해 두었습니다.

2026년 9월 2일 기준 www.coupang.com/robots.txt의 구조는 다음과 같습니다.

구분내용
허용된 봇Googlebot, Googlebot-Mobile, Googlebot-image, NaverBot, Yeti, Bingbot, Daum, Daumoa 8종
허용 경로/vp/products/ 상품 상세, /np/categories/ 분류, /np/search?q= 검색 결과, /np/best100/, /np/campaigns/ 기획전, 브랜드샵, 와우카드 안내 등 10개
허용 봇에게도 막은 경로/vm/cart/ 장바구니, /vm/direct-orders/ 바로구매, /vendor-items/, /other-seller-json 다른 판매자 정보, 선택 위젯과 잘못된 브랜드 경로
이름을 적어 막은 AI 봇GPTBot(학습), ChatGPT-User(사용자 요청 열람), OAI-SearchBot(검색 색인)
나머지 봇User-agent: * 아래 Disallow: /로 전부 차단
사이트맵https://www.coupang.com/sitemap/sitemap.xml 명시

읽는 방법은 간단합니다. 검색엔진에게는 손님이 들어올 만한 문만 열어 둡니다. 상품 상세와 분류, 검색 결과, 기획전이 여기에 해당합니다. 반대로 장바구니와 주문처럼 로그인 뒤에 있는 화면과 다른 판매자 가격이 담긴 데이터는 검색엔진에게도 닫고, 이름을 적지 않은 봇은 전부 막습니다. ClaudeBot과 PerplexityBot, CCBot, Google-Extended는 이름이 없으므로 마지막 규칙에 걸려 들어오지 못합니다.

쿠팡 robots.txt는 2026년 9월 기준 검색엔진 봇 8종에게만 상품과 검색 경로를 열어 주고 OpenAI 봇 세 종을 이름으로 막은 뒤 나머지 봇은 전부 차단합니다.

OpenAI 봇 세 종을 따로 적은 대목이 눈에 띕니다. OpenAI는 공식 문서에서 학습용 GPTBot, 검색 색인용 OAI-SearchBot, 사용자가 링크를 넣었을 때 열어 보는 ChatGPT-User를 나눠 운영하고 각각 따로 허용하거나 막을 수 있다고 안내합니다. 쿠팡은 셋을 모두 막았습니다. 학습만 막고 검색 노출은 남기는 절충이 아니라, 챗GPT 검색 결과와 사용자가 직접 붙여 넣은 링크 열람까지 닫은 형태입니다. 다만 ChatGPT-User는 OpenAI 문서에서 사용자가 시작한 동작으로 설명되는 봇이라, robots.txt 규칙이 그대로 적용되지 않을 수 있다는 해석이 있습니다. 그래서 이 줄은 선언에 가깝고, 실제 차단은 바로 아래에서 설명할 서버 쪽 방어가 맡는 것으로 보입니다.

모바일 웹인 m.coupang.com에는 파일이 따로 있습니다. 구조는 같지만 허용 경로가 /vm/products/와 /nm/plp/, /nm/search?q= 위주로 짧고, OpenAI 봇을 이름으로 적은 줄이 없습니다. 이름이 없어도 별표 규칙에 걸리므로 결과는 같은 차단이지만, 두 파일을 같은 날 고치지는 않았다는 뜻입니다.

한 가지 더 확인한 것이 있습니다. robots.txt는 안내판이라 무시하는 봇에게는 효과가 없는데, 쿠팡은 안내판 앞에 문지기를 세워 두었습니다. 같은 날 명령줄 도구(curl)로 www.coupang.com/robots.txt와 상품 페이지, 파일에 적힌 사이트맵 주소까지 요청하자 전부 403 접근 거부가 돌아왔고, 거부 화면에는 Akamai 계열 엣지 서버 주소(errors.edgesuite.net)가 찍혀 있었습니다. 브라우저 식별 문자열(User-Agent)을 Googlebot이나 GPTBot으로 바꿔도 결과는 같았습니다. 즉 봇으로 보이는 요청은 robots.txt를 읽기도 전에 걸러지고, 실제 브라우저로 들어와야 파일이 보입니다. 다른 분석 글에서 쿠팡은 robots.txt 접근 자체가 막혀 있다고 적는 사례가 있는데, 정확히는 봇으로 보이는 요청이 막히는 것이고 파일은 존재합니다.

Q. 쿠팡 파트너스 링크는 검색엔진에 색인되나요? A. 되지 않습니다. 쿠팡 파트너스가 만들어 주는 단축 링크 도메인(link.coupang.com)에 요청을 보내면 응답 헤더에 x-robots-tag: noindex, nofollow가 붙어 돌아옵니다. 파트너가 여기저기 올린 링크가 검색 결과에 쌓이지 않도록 링크 자체를 색인 대상에서 빼 둔 설계입니다.

인터넷 아카이브로 본 쿠팡 robots.txt의 변화

시점별로 무엇이 바뀌었는지는 인터넷 아카이브(Wayback Machine)에 남은 스냅샷으로 확인할 수 있습니다. www.coupang.com과 m.coupang.com 두 파일의 스냅샷을 비교하면 세 단계가 보입니다.

시기파일 구조AI 봇 처리
2022년 3월부터 2024년 2월맨 위에 User-agent: *Disallow: /를 두고 Googlebot에게 상품 경로 3종, NaverBot과 Yeti에게 이미지와 스크립트를 뺀 전체를 허용이름 없음. 별표 규칙으로 차단
2024년 하반기부터 2025년 상반기봇별로 허용 경로를 목록으로 정리하고 Bingbot과 Daum을 추가. 장바구니와 주문, 다른 판매자 정보 경로를 명시적으로 차단이름 없음. 별표 규칙으로 차단
2026년 2월 스냅샷 이후위 구조 유지GPTBot, ChatGPT-User, OAI-SearchBot을 이름으로 추가 차단. 2026년 9월 2일 파일에서 확인

두 가지를 알 수 있습니다. 첫째, 기본값이 차단인 구조는 AI 크롤러가 등장하기 전인 2022년에 이미 있었습니다. AI 때문에 문을 닫은 것이 아니라 원래 닫혀 있던 문에 AI 봇 이름표를 나중에 붙인 것으로 보입니다. 둘째, 2024년 하반기 개편으로 네이버 봇의 허용 범위가 좁아졌습니다. 전에는 이미지와 스크립트만 빼고 전체를 열었는데, 개편 뒤에는 목록에 적힌 경로만 엽니다. 검색엔진에게 주는 문도 시간이 갈수록 줄었습니다.

OpenAI 봇 이름이 추가된 정확한 날짜는 아카이브에 남아 있지 않습니다. 2026년 2월 1일 스냅샷까지는 없었고 2026년 9월 2일 파일에는 있으므로 그 사이에 추가된 것으로 보이며, 쿠팡이 이유를 밝힌 자료는 찾지 못했습니다.

경쟁 플랫폼 robots.txt와 나란히 놓고 본 결과

쿠팡만 유별난지 확인하려면 같은 날 다른 플랫폼 파일을 열어 보면 됩니다. 2026년 9월 2일 기준 결과를 표로 정리했습니다.

플랫폼검색엔진 봇AI 학습용 봇(GPTBot, ClaudeBot, CCBot 등)AI 검색용 봇(OAI-SearchBot, Claude-SearchBot, PerplexityBot 등)나머지 봇
쿠팡구글, 네이버, 빙, 다음 8종에 상품과 검색 경로 허용차단차단차단
네이버 쇼핑네이버 Yeti는 대부분 허용, 구글은 버티컬 홈 10개 경로만 허용이름으로 전부 차단이름으로 전부 차단차단
11번가구글, 네이버, 다음 허용이름 없음, 별표 규칙으로 차단OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User를 검색엔진과 같은 조건으로 허용차단
무신사허용GPTBot, ClaudeBot, CCBot, Google-Extended 등 허용허용차단
아마존허용GPTBot, ClaudeBot 차단OAI-SearchBot, PerplexityBot 차단일부 경로 제한
알리익스프레스허용별표 규칙으로 일부 경로만 빼고 허용허용대부분 허용
테무파일 대신 JavaScript 확인 화면 응답확인 불가확인 불가확인 불가

플랫폼은 세 부류로 나뉩니다. 쿠팡과 네이버 쇼핑, 아마존은 AI 봇을 학습용과 검색용 구분 없이 막습니다. 11번가는 학습용은 막고 검색용은 여는 절충형이고, 무신사와 알리익스프레스는 대부분 엽니다. 네이버 쇼핑은 한 걸음 더 나가 구글 검색에도 상품 상세를 열지 않고 버티컬 홈 화면 10개만 허용하는데, 파일 주석에 홈 바깥의 분류와 테마관, 상세 지면은 허용하지 않는다고 적어 두었습니다.

국내 상위 커머스 가운데 AI 검색용 봇까지 막는 곳은 쿠팡과 네이버 쇼핑이고, 11번가는 검색용만 열며, 무신사는 학습용까지 엽니다. 규모가 큰 쪽일수록 문이 좁습니다.

이 표에서 이미 전략의 윤곽이 보입니다. 손님이 알아서 찾아오는 가게일수록 큰길 간판이 덜 절실하듯, 자기 앱으로 들어오는 손님 비중이 높은 플랫폼일수록 문을 좁게 잡고 있습니다.

네이버 쇼핑이 문을 닫는 계산은 쿠팡과 다릅니다. 네이버는 검색과 AI를 모두 직접 운영하는 회사라, 다른 회사의 AI가 네이버 콘텐츠를 가져가면 자사 검색과 AI의 경쟁자를 키우는 셈이 됩니다. 네이버는 2026년 7월 기준 AI탭 이용자가 1,000만 명을 넘었다고 밝혔습니다. 2025년 3월에 나온 네이버플러스 스토어 앱에서는 다른 쇼핑몰로 손님을 보내던 가격비교 기능이 빠졌다고 보도됐습니다. 쿠팡이 파트너스라는 사람의 유통망으로 밖의 손님을 받는다면, 네이버는 손님이 자사 검색창과 AI 밖으로 나가지 않게 하는 쪽입니다. 같은 차단이라도 기대는 것이 다릅니다. 쿠팡은 앱에 손님을 묶어 둔 힘에, 네이버는 검색과 AI를 한 회사가 다 가진 구조에 기대고 있습니다.

쿠팡이 검색이라는 큰길을 포기할 수 있는 이유

쿠팡이 문을 닫아도 되는 이유는 손님이 이미 앱으로 직접 들어오기 때문입니다. 공개된 수치로 확인해 보겠습니다.

  • 앱 월간 활성 사용자: 와이즈앱리테일 집계로 2026년 7월 3,357만 명입니다. 2위 알리익스프레스 962만 명의 3.5배이고, 10대부터 60대 이상까지 전 연령대에서 종합몰 앱 1위입니다.
  • 단독 사용률과 고착도: 아이지에이웍스 모바일인덱스의 2026년 3월 분석에서 쿠팡만 쓰는 사용자 비율은 49.9%, 하루 사용자를 월간 사용자로 나눈 고착도는 46.9%입니다. 월간 사용자의 절반 가까이가 하루에 한 번은 앱을 여는 셈입니다.
  • 활성 고객: 쿠팡의 2026년 2분기 실적 발표 기준 프로덕트 커머스 활성 고객은 2,470만 명이고, 같은 발표에서 와우 멤버십 회원 수가 개인정보 유출 사고 이전 수준을 넘어 사상 최대라고 밝혔습니다.

이 구조에서 검색 유입은 이미 소유한 채널에 더해지는 덤에 가깝습니다. 쿠팡이 이렇게 판단한 흔적은 오래전부터 있었습니다. 2016년 11월 네이버 쇼핑과 계약을 끝내고 상품 데이터 제공을 중단했을 때, 쿠팡 관계자는 이용자들이 네이버 쇼핑보다 자체 앱 접속을 선호한다고 설명했다고 보도됐습니다. 그 뒤 재입점했다는 보도가 있는데, 네이버 가격비교 입점은 판매자가 상품 데이터 주소(DB URL)를 제공하는 피드 방식이라 크롤러 허용과는 별개 경로입니다. 열어 줄 상대에게는 크롤링이 아니라 계약과 피드로 데이터를 넘긴다는 원칙이 여기서도 보입니다.

닫아서 지키는 것도 분명합니다.

  • 가격과 재고 데이터: 상품 페이지는 사람에게는 쇼핑 화면이지만 자동화 도구에게는 가격 관찰과 경쟁사 추적, 재판매 자동화의 입력값입니다. 앱스토어에 쿠팡 가격 변동을 추적해 알림을 주는 앱이 여럿 올라와 있는 것이 그 수요를 보여 줍니다. 봇을 막으면 시시각각 바뀌는 가격과 다른 판매자의 가격 정보를 밖에서 긁어 가기 어려워지고, 그만큼 가격 정책을 지키기 쉬워집니다.
  • 리뷰와 상품 설명이라는 콘텐츠 자산: 쌓여 있는 구매 후기는 AI 모델이 학습하고 싶어 하는 데이터입니다. GPTBot을 막는 것은 이 자산을 무상으로 넘기지 않겠다는 선언으로 읽힙니다.
  • 중간 유통자 거부: AI 검색이 상품을 답변 안에서 요약해 보여 주면, 손님은 쿠팡 화면을 거치지 않고 비교를 끝냅니다. 브랜드 노출과 행동 데이터 수집 기회가 답변 안에서 사라집니다. 큰길에 새로 생긴 안내소가 가게 안 물건을 대신 설명해 주면 정작 가게 앞은 한산해지듯, 쿠팡은 그 안내소에 진열대를 내주지 않는 쪽을 택한 것으로 보입니다.

쿠팡의 robots.txt는 트래픽을 더 얻는 장치가 아니라 이미 얻은 트래픽과 데이터를 지키는 장치입니다.

쿠팡 파트너스가 크롤러 대신 맡는 일

문을 닫았다고 해서 밖에서 들어오는 손님을 포기한 것은 아닙니다. 크롤러가 하던 일을 사람이 대신합니다. 쿠팡 파트너스는 블로그와 유튜브, SNS를 운영하는 개인과 사업자가 쿠팡 상품 링크를 올리고, 그 링크로 들어온 구매에 성과 수수료를 받는 제휴 프로그램입니다.

운영 정책과 도움말에 안내된 기준으로 구조를 정리하면 이렇습니다.

  • 과금 방식: CPS(Cost Per Sale), 즉 판매가 일어났을 때만 결제 금액의 일정 비율을 지급합니다. 클릭이나 노출에는 비용이 나가지 않습니다.
  • 인정 기간: 파트너 링크로 접속한 시점부터 24시간 안에 일어난 구매를 실적으로 인정한다고 안내되어 있고, 링크에 걸린 상품뿐 아니라 그 시간 안에 산 다른 상품도 포함됩니다.
  • 추적: 링크마다 파트너 식별자와 하위 식별자(subId)가 붙어 어느 파트너의 어느 글에서 온 구매인지 리포트에 남습니다. 앞서 확인했듯 링크 자체는 검색엔진 색인에서 빠집니다.
  • 통제: 무효 클릭과 자동 리디렉션, 등록하지 않은 매체 노출을 금지하고, 위반하면 수입 지급 보류와 계정 정지로 대응한다고 정책에 적혀 있습니다.

가게 앞에서 전단지를 돌리는 사람에게 팔린 만큼만 돈을 주듯, 쿠팡은 봇이 아니라 사람에게 유통을 맡기고 결과에만 값을 치릅니다. 이 구조를 크롤러 허용과 비교하면 쿠팡이 무엇을 맞바꿨는지 드러납니다.

비교 축검색엔진과 AI 크롤러에 여는 경우쿠팡 파트너스로 받는 경우
유통 주체봇이 페이지를 긁어 색인과 답변에 배치사람이 글과 영상을 만들어 링크를 배치
비용무료. 다만 노출 순서와 표현을 통제하지 못함판매가 일어난 뒤에만 수수료 지급
어트리뷰션검색 유입은 어느 검색어에서 왔는지 대부분 가려짐링크 단위로 파트너와 매체, 글까지 추적
트래픽 품질정보 탐색 목적이 섞임성과 기반 보상이라 구매 의도가 높은 손님을 보낸 파트너만 남음
콘텐츠 통제답변 엔진이 상품 정보를 재구성파트너가 정책 범위 안에서 작성, 위반 시 제재

어트리뷰션 줄이 마케터에게는 특히 중요한 차이입니다. 검색 유입은 들어온 뒤의 행동은 보여도 어느 검색어와 어느 답변에서 왔는지가 대부분 가려지는 반면, 파트너스 유입은 링크마다 식별자가 붙어 있어 어떤 글이 매출을 만들었는지 거의 전부 추적됩니다. 클릭 기여 어트리뷰션의 관점에서 보면, 쿠팡은 계측되지 않는 유입을 버리고 계측되는 유입에만 돈을 쓰는 구조를 만든 셈입니다.

AI 답변과의 관계도 하나 더 있습니다. 챗GPT나 제미나이에 특정 상품군 추천을 물으면 답변이 쿠팡 상품 페이지가 아니라 그 상품을 비교한 블로그 글을 인용하는 경우가 있고, 그런 글 가운데 파트너스 링크가 달린 글이 적지 않습니다. 쿠팡 페이지를 직접 크롤링하지 못해도, 파트너가 쓴 글이 인용되면 손님은 결국 파트너스 링크를 타고 쿠팡에 도착합니다. 크롤러를 막은 채로 얻는 간접 GEO라고 볼 수 있습니다.

Q. 파트너스 링크로 온 손님과 검색으로 온 손님은 실제로 어떻게 다르게 잡히나요? A. 가상의 하루치 데이터로 보면 차이가 분명합니다.

유입방문구매매출을 만든 출처 식별
구글 자연 검색1,00020검색어 대부분 미상, 도착 페이지까지만
AI 답변 인용3009어느 답변인지 미상, 인용된 원문 글도 미상
파트너스 링크40024파트너 A의 글 3번, 파트너 B의 영상 1번까지 확정

숫자는 설명용 예시이고 구조만 보면 됩니다. 세 줄 가운데 마지막 줄만 어디에 돈을 더 쓸지 바로 정할 수 있는 정보를 줍니다.

이 구조가 치르는 비용과 위험

이 선택이 공짜는 아닙니다. 네 가지 위험이 따라옵니다.

  • AI 검색이 주류가 됐을 때 이름이 사라지는 위험: 학습용과 검색용 봇을 모두 막았으므로, 답변 엔진이 상품 정보를 직접 인용하는 곳에서 쿠팡은 빠집니다. 파트너가 글을 쓰지 않는 롱테일 상품군일수록 답변 안에 존재하지 않는 브랜드가 될 수 있습니다.
  • 신규 고객 유입은 여전히 검색이 강하다는 점: 기존 고객은 앱으로 오지만 처음 오는 손님은 검색과 추천으로 옵니다. 모바일인덱스 2026년 3월 집계에서 쇼핑 앱 신규 설치 1위는 테무였고 쿠팡은 3위였으며, 쿠팡의 30일 삭제율은 64.0%로 네이버플러스 스토어의 20.1%보다 높았습니다. 소유한 채널이 크다는 것과 새 손님이 계속 들어온다는 것은 다른 이야기입니다.
  • 경쟁사가 다른 선택을 하고 있다는 점: 11번가는 AI 검색용 봇을 열었고 무신사는 학습용까지 열었습니다. AI 답변에 인용되는 것이 구매로 얼마나 이어지는지는 앞으로 몇 년 안에 수치로 드러날 텐데, 그 결과에 따라 지금의 폐쇄가 방어였는지 지각이었는지가 정해집니다.
  • 파트너 생태계가 정책 하나로 달라진다는 점: 수수료율과 인정 기간, 링크 형태는 쿠팡이 정하고 공지로 바꿉니다. 2026년 6월 개인정보보호위원회 처분에서 납치광고를 게재하는 파트너를 관리 감독하지 않은 점이 처분 사유에 들어간 것처럼, 파트너 관리 부실은 규제로 돌아옵니다. 경과는 납치광고 작동 방식과 규제 경과에 정리해 두었습니다. 반대로 관리를 조이면 파트너가 떠나므로, 유통망을 사람에게 맡긴 대가로 그 사람들을 계속 남아 있게 해야 하는 비용이 생깁니다.

쿠팡의 선택은 보편적인 정답이 아니라 이미 이긴 쪽의 방어 전략입니다. 소유한 채널이 작은 브랜드가 같은 파일을 복사하면 방어할 것도 없이 노출만 잃습니다.

다른 브랜드가 가져갈 기준

그러면 우리 사이트는 어느 쪽을 골라야 하는지라는 질문이 남습니다. 세 가지 기준으로 정합니다.

기준닫는 쪽이 맞는 경우여는 쪽이 맞는 경우
자체 채널 비중앱과 직접 방문이 유입의 대부분이고 검색 유입 비중이 낮음검색과 추천이 신규 고객의 주된 경로
데이터 민감도가격과 재고, 후기가 경쟁사에 바로 쓰이는 자산콘텐츠가 널리 인용될수록 이득
마진 구조성과 수수료를 줄 마진이 있고 파트너 관리 인력이 있음제휴망을 운영할 여력이 없어 무료 노출이 필요

robots.txt를 보안 장치가 아니라 마케팅 도구로 보면 선택지가 전부 열기와 전부 막기 둘만 있는 것이 아닙니다. OpenAI와 앤트로픽은 학습용, 검색 색인용, 사용자 요청용 봇을 나눠 운영하고, 구글은 Google-Extended라는 별도 토큰으로 검색 색인과 AI 학습을 분리합니다. 그래서 다음처럼 학습은 막고 검색 노출은 남기는 설계가 가능합니다.

# 학습용 봇은 막는다 User-agent: GPTBot User-agent: ClaudeBot User-agent: CCBot User-agent: Google-Extended Disallow: / # 검색과 답변 인용에 쓰이는 봇은 연다 User-agent: OAI-SearchBot User-agent: Claude-SearchBot User-agent: PerplexityBot Allow: / # 나머지는 기본 규칙 User-agent: * Disallow: /cart/ Disallow: /order/

이 형태가 11번가가 고른 절충이고, 2026년의 한 조사에서는 주요 뉴스 사이트 대부분이 이 방식을 택한 것으로 알려져 있습니다. 서버 쪽 봇 차단을 함께 쓰는 경우에는 방화벽이 AI 봇을 자동화 트래픽으로 분류해 robots.txt를 읽기도 전에 막아 버릴 수 있으므로, 파일에서 허용한 봇이 실제로 도달하는지 서버 로그로 확인해야 합니다. 그 절차는 클라우드플레어 봇 차단과 DDoS 방어 순서에 있습니다.

파트너스형 유통망을 만들 수 없는 중소 브랜드라면 방향은 반대입니다. 대신 글을 써 줄 사람이 없으니 답변 엔진이 우리 페이지를 직접 인용하게 만들어야 하고, 그 첫 작업은 GEO 최적화 시작 순서에 정리한 대로 인용되고 싶은 질문을 지금 쓰는 AI에게 직접 던져 보는 일입니다.

측정은 세 가지를 제안합니다.

  • AI 검색 인용 점유율: 우리 상품군의 대표 질문 20개를 정해 두 달에 한 번 챗GPT와 제미나이, 퍼플렉시티에 던지고 인용된 출처에 우리 도메인이 몇 번 나오는지 셉니다.
  • 브랜드 검색량 대비 직접 방문 비율: 브랜드명 검색 클릭 수와 GA4 직접 유입 세션의 비율을 월별로 봅니다. 이 비율이 오르면 소유한 채널이 커지는 중이고, 그때 닫는 선택을 검토할 근거가 생깁니다.
  • 파트너스 유입 기여도: 제휴 프로그램이 있다면 파트너 링크 유입의 구매 전환율과 검색 유입의 전환율을 같은 기간에 나란히 놓습니다. 파트너 쪽이 꾸준히 높으면 수수료율을 올릴 근거가 됩니다.

쿠팡이 AI 크롤러를 막으면 AI 답변에 쿠팡 상품이 아예 안 나오나요?

직접 인용은 막히지만 간접 등장은 남습니다. 답변 엔진은 쿠팡 페이지를 읽지 못해도 쿠팡 상품을 다룬 블로그와 커뮤니티 글은 읽을 수 있고, 그 글에 파트너스 링크가 있으면 손님은 결국 쿠팡으로 갑니다. 다만 그 답변 안의 가격과 배송 조건은 쿠팡이 아니라 글쓴이가 적은 시점의 정보라 틀릴 수 있고, 이 오차를 쿠팡이 고칠 방법은 없습니다.

우리 쇼핑몰도 쿠팡처럼 AI 크롤러를 막아야 하나요?

자체 앱과 직접 방문이 유입의 대부분이고 가격 데이터가 경쟁사에 바로 쓰이는 구조가 아니라면 막지 않는 편이 안전합니다. 막더라도 학습용 봇만 막고 검색용 봇은 열어 두는 절충부터 시작하고, 서버 로그에서 어떤 봇이 실제로 들어오는지 확인한 뒤 조정합니다. 쿠팡의 파일은 쿠팡의 유입 구조에 맞춘 답이지 업계 표준이 아닙니다.

앞으로 지켜볼 것

쿠팡의 다음 선택은 두 방향 가운데 하나일 것으로 보입니다. 하나는 답변 엔진 쪽과 계약으로 문을 여는 경우입니다. 크롤링은 막되 상품 데이터를 라이선스 계약과 피드로 넘기는 것은 네이버 가격비교 입점에서 이미 해 본 방식입니다. 다른 하나는 자체 AI 쇼핑 도우미를 두고 검색과 비교를 앱 안에서 끝내게 만드는 경우인데, 네이버는 AI탭과 네이버플러스 스토어로 이 길을 먼저 가고 있습니다. 어느 쪽이든 크롤러에게 문을 여는 방향은 아닐 가능성이 높아 보이고, 그 판단이 맞았는지는 신규 고객 유입 수치가 말해 줄 것입니다.

3줄 요약:

  • 쿠팡과 네이버 쇼핑의 robots.txt는 2026년 9월 2일 기준 검색엔진 봇에게만 상품 경로를 허용하고 AI 크롤러는 학습용과 검색용을 가리지 않고 차단합니다.
  • 쿠팡은 앱 월간 활성 사용자 3,357만 명과 단독 사용률 49.9%를 근거로 검색 대신 쿠팡 파트너스로 외부 유입을 받고, 네이버는 자사 검색과 AI 안에 이용자를 머물게 합니다.
  • 파트너스형 유통망도 자체 AI도 없는 브랜드는 두 곳을 따라 하지 말고 학습용 봇만 막고 검색용 AI 봇은 열어 두는 편이 안전합니다.

Sources

이 글이 도움이 되셨다면 공유해 주세요

메신저로 바로 보내거나 링크를 복사할 수 있습니다.

Author

Written by

데이터로 설명하는 마케터

퀴즈

2026년 9월 기준 쿠팡 www.coupang.com/robots.txt에서 확인되는 내용은 무엇일까요?

이 글이 도움이 되었나요?

다음 단계

이어서 읽기 좋은 글

클릭 후 7일, 조회 후 1일? 메타 전환 추적의 진짜 의미를 알고 계신가요

메타 광고의 '클릭 후 7일, 조회 후 1일'이 정확히 무엇을 뜻하는지 알고 계신가요? 같은 캠페인에서 전환 수가 다르게 보이는 이유를 4가지 시나리오 비교로 쉽게 설명합니다.

다음 글 읽기

같이 보면 좋은 글

GEO 잘하는 업체 찾는 법과 검증 기준 5가지 썸네일
MarketingGEO 잘하는 업체 찾는 법과 검증 기준 5가지

GEO(생성형 엔진 최적화)는 AI 답변에 내 콘텐츠가 인용되도록 만드는 작업입니다. GEO 업체 검증은 그 업체가 실제로 AI 답변에 인용되는지, SEO 기반이 갖춰져 있는지 확인하는 일입니다. 준이아빠블로그의 인용 사례와 GA4 실측 데이터로 검증 기준 5가지를 정리했습니다.

2026. 8. 22.
GEO 최적화 하는 법: 가장 먼저 할 일과 순서 정리 썸네일
MarketingGEO 최적화 하는 법: 가장 먼저 할 일과 순서 정리

GEO(생성형 엔진 최적화)는 챗GPT, 제미나이 같은 AI의 답변에 내 콘텐츠가 인용되도록 만드는 작업입니다. 처음 시작할 때 무엇부터 손대야 하는지, 기술 기반과 콘텐츠 전략을 준이아빠블로그의 실제 검증 화면과 함께 순서대로 정리했습니다.

2026. 8. 4.
제로클릭 시대의 마케팅 전략: 클릭 없이 성과를 만드는 법 썸네일
Marketing제로클릭 시대의 마케팅 전략: 클릭 없이 성과를 만드는 법

구글 검색의 69%가 클릭 없이 끝나고, AI Overviews가 뜬 검색어는 83%가 제로클릭입니다. 페이스북은 외부 링크가 포함된 게시물의 도달을 70% 이상 줄였습니다. 클릭을 전제로 한 마케팅은 더 이상 작동하지 않습니다. 최신 전략을 바탕으로, 클릭 없이 성과를 만드는 제로클릭 마케팅의 구체적인 방법을 정리했습니다.

2026. 3. 6.
구글 네이버 앱 MAU 역전 정리: 2026년 7월 데이터와 마케터 시사점 썸네일
Marketing구글 네이버 앱 MAU 역전 정리: 2026년 7월 데이터와 마케터 시사점

2026년 7월 아이지에이웍스 모바일인덱스 집계에서 구글 앱의 국내 월간 활성 이용자 수가 네이버 앱을 처음 앞질렀습니다. 역전된 것과 역전되지 않은 것을 구분하고, 검색 점유율 통계의 충돌과 마케터가 실제로 확인할 것을 정리했습니다.

2026. 8. 12.

ADVERTISEMENT

이 글의 학습 경로

글 전체 보기

관련 개념

무료 셀프 교육으로 배워보세요

코스 전체 보기