쿠팡과 네이버 쇼핑의 robots.txt 읽기: AI 봇 차단과 파트너스

AI 답변에 우리 상품이 인용되길 바란다면 AI 봇을 허용해야 할까요? 쿠팡과 네이버 쇼핑의 파일을 보면 여러 AI 관련 봇에 Disallow: /가 적혀 있습니다. 그렇다고 두 회사가 검색 유입 전체를 포기했다거나, 다른 쇼핑몰도 같은 설정을 써야 한다는 뜻은 아닙니다.

이 글에서는 robots.txt에서 누구에게 어떤 경로를 허용했는지 읽는 법부터 살펴봅니다. 이어 쿠팡 파트너스가 방문과 구매를 연결하는 방식을 비교합니다. 준비물은 브라우저와 메모장뿐입니다. 서버 파일을 바꾸지 않고도 아래 연습을 할 수 있습니다.

robots.txt는 사이트가 자동으로 페이지를 읽는 프로그램인 크롤러, 또는 봇에게 수집 규칙을 알리는 텍스트 파일입니다. 검색엔진이 페이지를 찾고 정리하는 작업이 검색 색인이고, 이 과정에 봇이 쓰입니다. 처음 접한다면 robots.txt 기본 설명을 함께 읽어도 좋습니다.

먼저 익힐 것: 별표 규칙을 모두에게 더하지 않습니다

주소창에서 https://www.coupang.com/robots.txt를 열면 수집 규칙이 나옵니다. 여기서 경로는 주소의 도메인 뒤에 붙는 /products/ 같은 부분이고, 그룹은 봇 이름과 그 이름에 적용할 규칙의 묶음입니다. 아래 표와 비교하며 읽어 보세요.

다음은 설명용 예제입니다. 쿠팡 파일을 그대로 옮긴 것은 아닙니다.

이 예제에서 Googlebot의 허용 범위는 /products/에만 한정되지 않습니다. 먼저 Googlebot 그룹을 선택합니다. 그 그룹에는 다른 경로를 막는 규칙이 없으므로 /about/도 허용으로 판단합니다. 별표 그룹의 Disallow: /를 덧붙이지 않습니다. 반면 별도 그룹이 없는 ExampleBot에는 별표 그룹이 적용되어 전체 경로가 제한됩니다.

상품 경로만 허용하려면 Googlebot 그룹 안에 Disallow: /도 있어야 합니다. 같은 그룹에서 규칙이 겹치면 더 구체적인 경로가 우선합니다. 예를 들어 /products/는 /보다 구체적이므로 상품 경로는 허용됩니다. 같은 봇을 대상으로 한 그룹이 여러 개라면 해당 그룹들을 함께 읽어야 합니다. 규칙 표준 RFC 9309와 Google의 그룹 선택 설명에 이 원칙이 나옵니다.

쿠팡 파일에서 확인되는 사실

2026년 10월 4일 확인한 www.coupang.com 파일에는 Googlebot, Googlebot-Mobile, Googlebot-image, NaverBot, Yeti, Bingbot, Daum, Daumoa의 그룹이 있습니다. 상품과 검색 경로에는 Allow를, 장바구니와 바로구매 등에는 Disallow를 적었습니다.

여기서 중요한 것은 이 검색 봇 그룹들에는 전체 경로를 막는 Disallow: /가 없다는 점입니다. 따라서 “목록의 상품 경로만 허용한다”로 읽으면 안 됩니다. 별도로 막은 경로와 일치하지 않는 경로는 허용으로 판단합니다.

위 화면은 9월에 보관한 파일입니다. 10월 4일 파일에서도 같은 OpenAI 봇 세 이름의 제한을 확인할 수 있습니다. 두 시점의 자료가 같다고 해서 그 사이에 한 번도 바뀌지 않았다는 뜻은 아닙니다. 과거 정책을 비교하려면 아카이브의 정확한 저장 날짜와 파일 본문이 필요하며, 두 저장본 사이의 실제 변경일은 별도 기록 없이 확정할 수 없습니다.

모바일 주소인 m.coupang.com에서는 다른 파일을 읽게 됩니다. 10월 4일 파일은 모바일 상품과 검색 경로를 쓰며, 별표 그룹에는 전체 제한이 있습니다. www 파일처럼 OpenAI 봇 세 이름이 따로 나열되어 있지는 않습니다. www.coupang.com과 m.coupang.com은 서로 다른 호스트, 즉 서버를 가리키는 주소 이름이므로 각 주소의 파일을 읽어야 합니다. 파일 내용이 다르다는 것만으로 두 파일의 수정 날짜까지 알 수는 없습니다.

AI 봇 이름은 용도별로 구분합니다

AI 학습은 모델을 만드는 데 데이터를 쓰는 일이고, AI 검색은 질문에 답할 때 관련 자료를 찾아 쓰는 일입니다. 서비스마다 이를 제어하는 방법이 다릅니다.

Google-Extended를 “학습만 막는 구글 봇”이라고 외우면 범위를 놓칩니다. Gemini Apps와 Vertex AI의 관련 답변 근거 제공에도 영향을 주며, Google 검색 포함 여부나 검색 순위에는 영향을 주지 않는다고 안내되어 있습니다. Google 공식 설명

또 쿠팡 파일에 ChatGPT-User 제한이 적혀 있다고 해서 사용자가 붙여 넣은 모든 링크의 열람이 반드시 막힌다고 단정할 수 없습니다. OpenAI 문서는 사용자 요청 열람에 robots.txt가 적용되지 않을 수 있다고 설명합니다. OAI-SearchBot을 차단한 사이트도 이동용 링크로 표시될 수 있습니다. Anthropic 문서의 사용자 요청 봇 설명은 또 다르므로 한 회사의 규칙을 모든 AI에 적용하지 않습니다.

네이버 쇼핑은 어떤 점이 다른가요?

2026년 10월 4일 확인한 shopping.naver.com/robots.txt에는 GPTBot, OAI-SearchBot, PerplexityBot, Google-Extended 등 AI 관련 이름 10개에 전체 제한이 적혀 있습니다. 파일의 적용 대상은 shopping.naver.com입니다. 네이버 블로그와 뉴스 등 모든 네이버 서비스의 정책으로 확대해서 읽지 않습니다.

이 파일의 Googlebot 그룹에는 특정 홈 경로를 허용하는 Allow 10개와 Disallow: /가 함께 있습니다. 앞서 본 쿠팡의 검색 봇 그룹과 다른 점입니다. 따라서 이 그룹은 허용 규칙에 맞는 경로를 제외한 나머지를 제한합니다. 경로 끝의 $는 일치할 주소가 그 위치에서 끝나야 한다는 표시입니다. 예를 들어 /gift/home$는 /gift/home과 맞지만 /gift/home/extra와는 맞지 않습니다.

Yeti 그룹에는 전체 허용과 일부 경로 제한이 있습니다. 같은 사이트도 봇별 범위가 다릅니다. “검색은 열고 AI는 닫았다”라는 한 문장보다, 봇 이름과 경로를 나누어 보는 편이 정확합니다.

다른 커머스 파일과 비교할 때도 같은 방법을 씁니다. 아래는 10월 4일 읽은 파일의 대표적인 규칙이며, 실제 봇 접속을 시험한 결과는 아닙니다.

이 표만으로 회사 규모가 클수록 봇을 더 막는다는 결론을 내릴 수는 없습니다. 표본도 작고, 각 회사의 유입 구조와 계약, 서버 설정은 파일에 나와 있지 않습니다.

파일 규칙, 실제 접속, 검색 노출은 따로 확인합니다

robots.txt에 허용되어 있어도 서버가 요청을 거절할 수 있습니다. 반대로 제한을 무시하는 봇을 이 파일 자체가 기술적으로 막아 주지는 않습니다. 고객 정보와 주문 정보는 로그인과 접근 권한으로 보호해야 합니다.

주소를 열었는데 403 접근 거부나 HTML 오류 화면이 나오면 이번 환경에서 파일을 읽지 못한 것입니다. 한 번의 오류만으로 “모든 봇을 차단한다”거나 “파일이 없다”고 기록하지 않습니다. 브라우저에서 정상 파일이 나오는 경우도 있으므로 주소와 확인 시각, 응답 내용을 구분해 남깁니다.

검색 결과 제외도 별도 문제입니다. Disallow는 수집 제한이며 noindex는 검색 색인 제외를 요청하는 지시입니다. noindex를 읽으려면 검색엔진이 해당 응답에 접근할 수 있어야 합니다. 단축 링크 한 개의 응답에 noindex가 보였다고 해서 모든 파트너스 링크와 링크를 올린 블로그 글까지 검색에서 제외된다고 판단할 수는 없습니다.

AI 답변에서 쿠팡 이름이 완전히 사라진다고 보기도 어렵습니다. 다른 사이트의 상품 비교 글이나 이동용 링크로 등장할 수 있습니다. 다만 제삼자가 쓴 가격과 배송 조건이 현재와 다를 수 있으므로, 구매 전 실제 상품 화면에서 확인해야 합니다.

차단 이유는 파일만으로 확정할 수 없습니다

파일은 수집 규칙을 보여 주지만 경영진의 결정 이유까지 보여 주지는 않습니다. 쿠팡의 자체 앱과 파트너스, 네이버의 검색과 AI 서비스가 외부 방문자를 얻는 다른 수단이 될 수 있다는 것은 전략을 해석할 때 참고할 만합니다. 그러나 “이 수단이 있으므로 봇을 막았다”는 인과관계는 별도 근거가 필요합니다.

브랜드 담당자가 검토할 질문은 구체적입니다. 상품 정보를 외부 답변에 제공하면 신규 고객을 더 만날 수 있는지, 가격과 재고가 오래된 상태로 요약될 위험은 어떤지, 학습에 제공할 수 없는 데이터가 포함되어 있는지를 따져 봅니다. 앱의 월간 사용자 수가 크다는 사실만으로 검색 유입의 가치가 작다고 판단하지 않습니다.

쿠팡 파트너스는 이 비교에서 살펴볼 수 있는 제휴 유입 방식입니다. 봇 수집과 제휴 유입은 동시에 운영할 수도 있습니다. 파트너스가 모든 크롤러의 일을 대신한다는 뜻은 아닙니다.

쿠팡 파트너스는 무엇을 추적하나요?

쿠팡 파트너스는 블로그나 영상 등에 상품 링크를 올리고, 그 링크를 통한 구매 실적에 따라 수익을 받는 제휴 프로그램입니다. 공식 첫 화면도 방문자가 광고를 클릭하고 구매하면 구매 금액의 일정 비율을 지급하는 순서로 설명합니다.

2026년 10월 4일 공식 자주 묻는 질문의 ‘수익 & 정산’에는 링크나 배너로 접속한 시점부터 24시간 안에 발생한 구매액을 기준으로 수익을 집계한다고 나옵니다. 지급률은 상품 카테고리와 운영 정책을 확인해야 합니다. 클릭만 발생했다는 이유로 판매 수수료가 생기는 구조는 아닙니다.

‘채널아이디’ 도움말은 링크나 배너를 만들 때 채널 아이디를 선택하고, 그 단위로 성과와 정산 내역을 볼 수 있다고 설명합니다. 예를 들어 블로그 A와 B를 구분하려면 각 블로그에 다른 채널 아이디로 만든 링크를 배치해야 합니다. 같은 식별자의 링크를 여러 글에 재사용하면 각 글의 매출이 저절로 분리되지는 않습니다.

이처럼 구매를 어떤 유입에 연결할지 정하는 것을 어트리뷰션, 즉 성과 기여 측정이라고 합니다. 보고서에 연결된 구매와 그 광고 때문에 추가로 생긴 구매는 서로 다른 개념입니다. 자세한 차이는 클릭 기여 어트리뷰션에 있습니다.

외부 비교 글이 AI 답변에 인용되고 그 글에 파트너스 링크가 있다면, 그 경로로 쿠팡에 방문할 가능성도 있습니다. 실제로 그런 방문과 구매가 얼마나 발생했는지는 별도 측정이 필요합니다. 파트너스의 납치광고 등 운영 위험은 원치 않는 앱 이동과 규제 경과에서 설명합니다.

숫자로 연습하기: 전환율이 높으면 더 투자해도 될까요?

다음은 설명을 위한 가상 데이터입니다. 방문은 같은 방식으로 집계한 세션 수이고, 구매는 그 세션에서 구매가 발생한 수라고 가정합니다. 세션은 한 번의 방문 중 이어진 활동을 묶어 집계한 단위입니다. 한 사람이 여러 번 방문하면 세션도 여러 개가 될 수 있습니다.

제휴 링크의 전환율이 가장 높습니다. 이 표만으로 제휴 수수료를 올리지는 않습니다. 구매 한 건당 평균 금액인 객단가와 상품 원가, 수수료, 반품을 반영해야 남는 돈을 비교할 수 있습니다. 구매 의도가 높은 사람이 제휴 링크를 더 많이 눌렀을 가능성도 있어, 높은 전환율이 링크의 효과만으로 생겼다고 단정할 수 없습니다.

메모장에 “제휴 링크 전환율은 6%이고, 추가 투자 판단에는 비용과 반품 정보가 더 필요하다”라고 적어 보세요. 어느 유입이 무조건 낫다고 쓰지 않고 부족한 정보를 짚었다면 이 표를 제대로 읽은 것입니다.

우리 사이트의 설정은 이렇게 검토합니다

먼저 검색과 AI 답변에 보여 주려는 공개 페이지, 학습에 제공할지 검토할 페이지, 접근 권한으로 보호할 페이지를 구분합니다. 그다음 담당자와 각 봇의 목적을 확인합니다. 다른 회사의 파일을 통째로 복사하지 않습니다.

아래는 학습용 GPTBot을 제한하고 검색용 OAI-SearchBot에는 공개 콘텐츠를 허용하는 규칙 읽기 예제입니다. 실제 쇼핑몰의 경로를 반영한 배포용 파일은 아닙니다.

검색 봇 그룹에도 /cart/와 /order/를 쓴 이유는 별표 그룹의 제한이 자동으로 합쳐지지 않기 때문입니다. 실제 사이트의 주문 경로가 다르면 그 경로를 검토해야 합니다. 이 제한을 적어도 주문 데이터의 접근 권한 설정은 별도로 필요합니다.

지금은 다음 세 주소의 파일 규칙상 판정만 메모해 보세요.

1. GPTBot이 /products/mug/를 요청하면 제한입니다. 자기 그룹의 / 제한이 적용됩니다.
2. OAI-SearchBot이 /products/mug/를 요청하면 허용입니다. 해당 경로를 막는 더 구체적인 규칙이 없습니다.
3. OAI-SearchBot이 /cart/를 요청하면 제한입니다. /cart/가 /보다 구체적입니다.

세 번째를 허용이라고 답했다면 ‘먼저 그룹 선택, 다음 경로 비교’ 순서로 다시 읽습니다. 혼자 반복할 때는 /order/receipt/로 바꿔 판단해 보세요. 이 예제에서는 /order/ 제한에 해당합니다.

실제 변경은 현재 파일을 보관하고 담당자와 공개 페이지, 주문 페이지의 기대 결과를 정한 뒤 진행합니다. 파일에서 허용했는데 수집되지 않는다면 서버 응답과 방화벽 기록도 확인합니다. 봇 차단과 DDoS 방어 순서는 서버 쪽 문제를 확인할 때 참고할 수 있습니다.

변경 효과는 무엇으로 확인하나요?

웹사이트 방문을 분석하는 도구인 GA4의 직접 유입에는 출처를 알아내지 못한 방문도 포함될 수 있습니다. 직접 유입이 늘었다는 이유만으로 자체 고객 기반이 커졌다며 크롤러를 차단할 근거로 삼지 않습니다. AI 답변에 무엇을 보여 줄지부터 정하고 싶다면 GEO 시작 순서의 질문 선정부터 이어가면 됩니다. GEO는 생성형 AI 답변에서 우리 콘텐츠가 발견되고 인용되도록 개선하는 작업입니다.

참고 자료

• 쿠팡 www robots.txt, 쿠팡 모바일 robots.txt, 네이버 쇼핑 robots.txt
• 11번가 robots.txt, 아마존 robots.txt, 알리익스프레스 robots.txt
• robots.txt 표준 RFC 9309, Google robots.txt 해석 안내
• OpenAI 봇 안내, Anthropic 봇 안내, Google-Extended 안내
• 쿠팡 파트너스 FAQ: 수익 & 정산, 채널아이디

3줄 요약

1. robots.txt는 적용할 봇 그룹을 먼저 고른 뒤 경로 규칙을 읽으며, 특정 그룹에 별표 그룹의 제한을 자동으로 합치지 않습니다.

2. 쿠팡과 네이버 쇼핑의 파일은 여러 AI 관련 봇을 제한하지만, 파일만으로 실제 접속 결과나 회사의 차단 이유를 확정할 수는 없습니다.

3. 우리 사이트는 검색 유입의 필요성과 데이터 이용 범위를 검토하고, 파트너스 성과는 식별자 설정과 비용을 함께 확인합니다.