AI 크롤러와 페이지 구조: AI 검색이 읽는 페이지 만들기

AI에게 우리 제품 가격을 물었더니 "공식 정보를 찾지 못했다"는 답이 오거나, 몇 해 전 다른 블로그가 적어 둔 가격이 나오는 때가 있습니다. 사이트를 열어 보면 가격은 분명히 적혀 있는데, 디자인된 이미지 한 장 안에 들어 있습니다. 반대로 AI 학습이 걱정돼 AI 봇을 모두 막았다가 AI 검색 답변에서까지 사라지는 일도 있습니다.

두 일 모두 사람이 보는 페이지와 AI 크롤러가 가져가는 페이지가 다르기 때문에 생깁니다. 크롤러(crawler)는 웹 페이지를 자동으로 방문해 내용을 가져가는 프로그램입니다. 지금부터 AI 크롤러가 페이지에 들어오는 조건, 들어와서 읽는 글자, 누구의 정보인지 알아보는 단서를 장면으로 먼저 보고, 아래에서 설정 방법을 자세히 설명합니다.

AI 검색 답변에 우리 페이지가 쓰이려면 세 단계를 거칩니다. 한 단계라도 막히면 다음 단계로 넘어가지 못하고, 단계마다 사이트 운영자가 정할 수 있는 것이 다릅니다.

AI 크롤러는 학습용, 검색용, 사용자 요청용으로 나뉩니다

AI 크롤러 접근 제어는 수집 목적에 따라 봇마다 허용 범위를 정하고, 실제 서버 접근도 확인하는 일입니다. AI 봇은 하나가 아닙니다. 같은 회사의 봇도 모델 학습에 쓸 자료를 모으는 봇, 검색 답변에 쓸 페이지를 색인하는 봇, 사용자가 요청한 순간에 페이지를 여는 봇으로 나뉩니다. 색인은 검색 대상 문서를 관리하는 목록입니다.

robots.txt는 사이트 최상위 경로에 두는 텍스트 파일로, 어떤 봇이 어느 경로에 들어와도 되는지 적어 둡니다. 봇은 방문할 때 자기 이름인 사용자 에이전트(user agent)를 밝히고, robots.txt는 이 이름으로 규칙을 나눕니다. User-agent, Disallow, Allow 같은 파일 문법은 색인 수업의 robots.txt 절에서 다뤘습니다.

아래 표는 2026년 10월 22일 각 회사 공식 문서에서 확인한 봇 이름입니다.

OpenAI 크롤러 안내 문서(OpenAI 봇 안내)는 "Sites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers"라고 적습니다. OAI-SearchBot을 거부한 사이트는 챗GPT 검색 답변에 나오지 않는다는 뜻이고, 같은 문서는 탐색용 링크로는 나올 수 있다고 덧붙입니다.

봇마다 막았을 때 생기는 일이 다릅니다.

• GPTBot과 OAI-SearchBot: OpenAI는 GPTBot을 막으면 학습에서 빼 달라는 신호가 되고, OAI-SearchBot을 막으면 챗GPT 검색 답변에 나오지 않는다고 안내합니다. 두 설정은 서로 독립적이라 하나만 막을 수 있고, robots.txt를 바꾼 뒤 검색에 반영되기까지 약 24시간이 걸립니다. OpenAI에는 광고 검증용 OAI-AdsBot도 따로 있습니다.
• ChatGPT-User와 Perplexity-User: 사용자가 요청한 순간에 페이지를 여는 봇입니다. OpenAI는 ChatGPT-User에 robots.txt 규칙이 적용되지 않을 수 있다고 안내하고, 퍼플렉시티는 Perplexity-User가 대체로 robots.txt를 따르지 않는다고 밝힙니다.
• 앤트로픽의 세 봇: 모두 robots.txt를 따른다고 밝힙니다. Claude-SearchBot을 막으면 클로드 검색 결과에서 노출이 줄어들 수 있고, Claude-User를 막으면 사용자가 질문할 때 클로드가 그 페이지를 가져오지 못합니다. 하위 도메인마다 robots.txt를 따로 둬야 하고, 수집 간격을 정하는 Crawl-delay도 지원합니다.
• Google-Extended: 따로 방문하는 봇이 아니라 robots.txt에 쓰는 제어용 이름입니다. 제미나이 모델 학습과 그라운딩(답을 만들 때 검색 자료를 근거로 붙이는 일)에 콘텐츠를 쓸지 정하고, 구글 검색 노출과 순위에는 영향을 주지 않습니다.
• 구글의 사용자 요청 가져오기: Google-Agent처럼 사용자가 요청한 순간에 페이지를 가져오는 구글의 가져오기 도구는 대체로 robots.txt를 따르지 않는다고 구글 문서가 적습니다.
• Applebot-Extended: Google-Extended처럼 제어용 이름입니다. 막아도 애플 검색 결과에는 나올 수 있고, 애플 기반 모델 학습에서만 빠집니다.

구글 AI 개요와 AI 모드는 따로 정합니다

구글 검색의 AI 개요(AI Overviews)와 AI 모드는 Googlebot 규칙을 따릅니다. 구글은 AI 개요와 AI 모드에 나오기 위한 추가 조건이나 특별한 최적화는 없고, 페이지가 색인돼 있고 검색 결과에 설명 문구(스니펫)와 함께 나올 수 있으면 된다고 안내합니다.

반대로 AI 개요와 AI 모드에서 빼고 싶다면 서치 콘솔의 설정 > Google 검색 생성형 AI 항목을 씁니다. 2026년 8월 31일 모든 사이트에 열린 설정으로, 제외를 고르면 AI 개요, AI 모드, 디스커버의 생성형 AI 기능에서 링크와 내용이 빠집니다. 사이트(속성) 단위로 적용되고 보통 1~2일 안에 반영됩니다. 구글은 이 설정이 일반 검색 순위에 쓰이지 않고, AI 학습과도 별개라고 밝힙니다. 학습을 막으려면 Google-Extended를 씁니다.

학습은 막고 검색은 여는 robots.txt

아래는 OpenAI의 학습용 수집은 거부하고, 검색용 수집은 장바구니와 주문 경로만 빼고 허용하는 가상 예제입니다. 실제 사이트에 그대로 덮어쓸 파일이 아닙니다. 기존 규칙과 사이트맵, 다른 봇 정책을 먼저 보존하고 반영 범위를 담당자와 확인합니다.

User-agent는 규칙을 적용할 봇의 이름이고, Disallow는 수집하지 말라는 경로입니다. /는 사이트 전체를 뜻합니다. OAI-SearchBot 그룹에는 전체 거부가 없으므로 두 경로 외에는 수집을 허용합니다.

이름을 지정한 봇은 자기 그룹의 규칙만 따르고, 별표(*) 그룹의 제한을 물려받지 않습니다. 그래서 /cart/와 /order/ 제한을 검색 봇 그룹에도 다시 적었습니다. User-agent: *는 따로 맞는 그룹이 없는 봇의 기본 규칙입니다. 이 예제만으로 다른 회사의 학습용 봇까지 막히지는 않습니다.

robots.txt만으로 막히지 않는 이유

robots.txt 표준 문서(RFC 9309)는 이 규칙이 접근 권한이 아니며(not a form of access authorization), 콘텐츠 보안 수단을 대신하지 않는다고 적습니다. 가게 문 앞에 붙인 안내문처럼, 들어오는 쪽이 지켜 줄 때만 효력이 있습니다. 클라우드플레어 문서도 robots.txt를 지키는 것은 크롤러의 자발적인 선택이라고 설명합니다.

그래서 공개하면 안 되는 자료는 robots.txt가 아니라 로그인과 권한으로 보호합니다. 학습용 수집을 거부해도 이미 학습한 모델에서 글이 지워지는 것은 아니고, 앞으로 수집할 자료를 빼 달라는 신호입니다.

반대로 robots.txt에서 허용한 봇이 다른 설정 때문에 막히는 사고도 있습니다. 클라우드플레어 같은 CDN에는 AI 봇을 검색(Search), 에이전트(Agent), 학습(Training) 용도별로 허용하거나 막는 정책 설정(Configure AI bot policies)과 robots.txt를 대신 관리해 주는 기능이 있습니다. Search 정책을 차단으로 두면 robots.txt에서 허용한 검색용 봇도 서버 앞에서 막히고, 관리 화면에서 만든 규칙이 내 robots.txt 앞에 붙기도 합니다. 예전의 Block AI bots 설정은 2026년 9월 15일 폐기 표시가 붙었습니다. 관리 화면의 설정과 실제로 제공되는 파일을 함께 확인합니다.

설정한 뒤 확인하는 순서

1. 파일 열어 보기: 브라우저에서 도메인/robots.txt를 열어 의도한 규칙이 올라가 있는지 봅니다.
2. CDN 설정 보기: CDN은 서버 앞에서 요청을 처리하는 서비스입니다. 봇 차단 기능이 검색용 봇까지 막고 있지 않은지 봅니다.
3. 서버 로그 보기: 허용한 봇의 요청과 응답 상태를 확인합니다. 응답 코드 200은 요청을 처리했다는 뜻일 뿐입니다. 서버가 오류 안내나 빈 화면을 돌려줬을 수도 있으므로 실제 본문도 따로 봅니다.
4. 가짜 봇 걸러 내기: 사용자 에이전트는 누구나 흉내 낼 수 있습니다. 공식 IP 목록을 공개하는 회사의 봇은 IP 주소까지 맞춰 봅니다. OpenAI는 openai.com/gptbot.json, searchbot.json, chatgpt-user.json을, 앤트로픽은 claude.com/crawling/bots.json을, 퍼플렉시티는 perplexity.com/perplexitybot.json과 perplexity-user.json을, 애플은 applebot.json을 공개합니다.

가격과 조건이 이미지 안에만 있으면 생기는 문제

이미지 안에만 있는 정보 문제는 가격, 기간, 조건 같은 핵심 정보가 이미지 파일 속 글자로만 있고 페이지의 HTML 글자에는 없는 상태를 말합니다. HTML은 웹 페이지의 내용과 구조를 적는 언어입니다. 쇼핑몰 상세페이지를 긴 이미지 여러 장으로 만들거나, 채용 공고와 행사 안내를 포스터 한 장으로 올리는 방식이 대표적입니다.

사람 눈에는 이미지 속 글자와 본문 글자가 똑같이 보입니다. 하지만 이미지로만 만든 페이지의 HTML에는 이미지 주소만 있고 안내 문장은 없습니다. 같은 행사 안내를 두 방식으로 올린 가상 예시로 보면 아래와 같습니다.

공식 문서도 같은 방향을 권합니다. 구글 검색 센터 AI 기능 문서는 "Making sure that important content is available in textual form"이라고 적습니다. 중요한 내용은 글자 형태로 볼 수 있게 하라는 뜻입니다.

• 구글 AI 기능 문서: AI 개요와 AI 모드에 대비해 중요한 내용을 글자 형태로 두고, 글자 내용을 좋은 이미지와 영상으로 보완하라고 권합니다.
• 마이크로소프트 빙 팀: AI 검색 답변에 포함되려면 이미지에는 대체 텍스트를 달거나 중요한 내용을 HTML로 적으라고 권합니다. 핵심 정보를 PDF에만 두거나, 눌러야 열리는 탭과 펼침 메뉴 안에만 두지 말라고도 안내합니다. AI 시스템이 화면에 펼쳐지지 않은 내용을 건너뛸 수 있기 때문입니다.
• 웹 접근성 기준 WCAG 2.2(1.4.5): 기술적으로 가능하면 글자 이미지 대신 실제 글자로 정보를 전하라고 정합니다. 로고처럼 글자 모양 자체가 중요한 경우는 예외입니다.

AI가 이미지를 전혀 분석하지 못한다는 뜻은 아닙니다. 다만 인용을 기대하는 가격과 조건이라면 글자로도 적어 두는 쪽이 확실합니다.

통 이미지로 만든 상세페이지와 글자를 얹은 상세페이지

상세페이지를 디자인할 때 그림 파일 하나에 제목, 표, 주석을 모두 그려 넣는 방식과, 글자 없는 배경 그림 위에 제목과 본문을 HTML로 올리는 방식이 있습니다. 두 방식은 사람 눈에는 같지만 검색엔진과 AI 크롤러가 가져가는 것은 다릅니다.

준이아빠블로그는 2026년 10월 21일 이 클래스의 옛 상세페이지 영역 하나를 두 방식으로 만들어 비교했습니다. 같은 영역을 1.5배 해상도로 캡처한 통 이미지는 1260×9,360px 한 장에 382KB였고 HTML 글자는 0자였습니다. 글자를 얹은 버전은 HTML이 15KB(배경 그림 30KB는 따로)였고, 띄어쓰기를 뺀 글자 1,954자가 크롤러가 받는 HTML에 남았습니다.

우리 페이지가 해당하는지 확인하는 방법

1. 글자 끌어 보기: 가격이나 날짜를 마우스로 끌어 선택합니다. 그림 전체가 한 덩어리로 선택되면 이미지입니다. 사이트가 글자 선택을 막아 둔 경우도 있으므로 글자 끌어 보기 결과만으로 이미지라고 단정하지는 않습니다.
2. 페이지 소스에서 찾기: 크롬에서 Ctrl+U(맥은 Cmd+Option+U)로 페이지 소스를 열고 그 문구를 찾습니다. 소스에 없어도 자바스크립트가 나중에 글자를 만드는 페이지일 수 있으므로, 판단이 어렵다면 담당자에게 확인합니다.
3. 구글이 받은 HTML 보기: 서치 콘솔의 URL 검사에서 "크롤링된 페이지 보기"를 열면 구글이 실제로 받은 HTML을 볼 수 있습니다.

글자로 옮길 정보의 순서

상세페이지 전체를 다시 만들 필요는 없습니다. 질문이 자주 들어오는 정보부터 옮깁니다.

디자인된 이미지를 없애라는 뜻은 아닙니다. 이미지는 그대로 두고 그 아래에 정보 표를 더합니다. 대체 텍스트(alt text)는 이미지를 보지 못하는 사람과 기계에 이미지의 내용을 전하는 글입니다. 짧은 문구가 담긴 이미지라면 그 문구를 대체 텍스트로 적고, 긴 안내문이라면 본문에 충분한 글자를 두는 편이 맞습니다.

AI 검색이 인용하기 쉬운 페이지 구조

페이지 구조 개선은 질문의 답을 찾기 쉽게 배치하고, 대상과 수치, 조건과 출처를 분명하게 쓰는 일입니다. 신문 기사의 제목과 첫 문단에서 핵심을 알 수 있듯, 안내 글도 질문에 답하는 부분을 쉽게 찾을 수 있어야 합니다.

같은 내용을 두 방식으로 쓴 가상 예시입니다. 주어진 자료는 제품 이름 A7과 표준 모드 작동 시간 60분뿐입니다.

고친 쪽은 제품 이름과 수치의 조건이 분명하고, 자료로 확인할 수 없는 범위도 구분합니다. 고치기 전 쪽은 "이 제품", "그래서"가 가리키는 대상이 앞 문단에 있어서, 문단만 떼어 가면 무엇에 관한 문장인지 알 수 없습니다.

구조를 고칠 때 과하게 할 필요는 없습니다. 구글은 2026년 5월 15일 추가한 생성형 AI 검색 최적화 가이드에서 AI가 잘 이해하도록 글을 잘게 쪼갤 필요가 없고, 생성형 AI 검색만을 위해 특별한 방식으로 쓸 필요도 없다고 밝힙니다. llms.txt 같은 AI용 파일도 구글 검색은 쓰지 않는다고 적습니다. 문단 길이를 기계적으로 맞추기보다, 사람이 읽는 흐름을 지키면서 답과 조건이 있는 곳을 분명하게 쓰는 편이 맞습니다.

마이크로소프트 빙 팀은 목록, 번호 단계, 비교 표가 복잡한 내용을 다시 쓰기 좋은 조각으로 나눠 준다고 설명하고, h2와 h3 소제목과 질문과 답 형식을 권합니다. 질문형 소제목은 사람들이 실제로 묻는 질문에만 씁니다. 모든 소제목을 질문으로 바꾸면 설명 문단까지 질문과 답처럼 보여 경계가 흐려집니다.

구조화 데이터: FAQPage, Article, Organization의 현재 역할

구조화 데이터는 페이지의 내용이 무엇인지 검색엔진이 정해진 형식으로 읽을 수 있게 적어 두는 코드입니다. 보통 JSON-LD 형식으로 페이지에 넣고, 어떤 항목을 어떤 이름으로 적을지는 schema.org라는 공개 어휘집이 정합니다. 택배 송장이 상자를 열지 않아도 받는 사람과 품목을 알려 주듯, 구조화 데이터는 글의 유형과 작성자, 날짜를 적어 둡니다. 송장과 내용물이 같아야 하듯 코드도 실제 화면과 같아야 합니다.

2026년 10월 22일 구글 검색 센터 문서 기준으로 세 유형의 상태를 정리하면 다음과 같습니다.

리치 결과는 구조화 데이터를 바탕으로 검색 결과에 별점이나 질문 목록 같은 정보를 붙여 보여 주는 방식입니다. 자주 묻는 질문 리치 결과는 몇 해에 걸쳐 줄어들다 사라졌습니다.

AI 검색 인용과 구조화 데이터의 관계

구글 생성형 AI 검색 최적화 가이드는 "Structured data isn't required for generative AI search, and there's no special schema.org markup you need to add."라고 적습니다. 생성형 AI 검색에 구조화 데이터가 필요하지 않고, 따로 넣어야 할 schema.org 마크업도 없다는 뜻입니다.

같은 가이드는 리치 결과를 위해서는 구조화 데이터를 계속 쓰라고 권합니다. 마이크로소프트 빙 팀은 AI 검색 답변에 포함되기 좋은 형식으로 스키마 마크업을 함께 권합니다. 두 쪽을 합치면 구조화 데이터의 역할이 분명해집니다. 구조화 데이터는 인용을 만들어 주는 장치가 아니라, 이름과 날짜, 작성자, 회사 정보를 분명히 적는 장치입니다. 본문에 인용할 문장이 없으면 구조화 데이터를 넣어도 가져갈 내용이 없습니다.

화면과 다른 구조화 데이터는 지침 위반입니다

구글 구조화 데이터 지침은 페이지를 읽는 사람에게 보이지 않는 내용을 마크업하지 말라고 합니다. 예를 들어 화면에 없는 질문과 답을 FAQPage에 적거나, 받지 않은 별점을 적으면 지침 위반입니다. 어기면 수동 조치로 리치 결과 자격을 잃을 수 있습니다. 구글은 이 조치가 일반 검색 순위에는 영향을 주지 않는다고 밝힙니다.

넣은 뒤에는 검사 도구로 확인합니다. 리치 결과 테스트는 구글이 지원하는 유형을 검사하고, Schema Markup Validator는 schema.org 전체 유형을 검사합니다. 데이터의 제목, 날짜, 작성자가 화면과 같은지도 함께 봅니다. 최초 발행일은 유지하고, 실제로 내용을 고쳤을 때만 수정일을 바꿉니다.

회사 이름과 브랜드 표기를 한 가지로 맞춥니다

개체와 브랜드 표기 일관성은 같은 대상을 분명한 이름과 정보로 설명하는 일입니다. 개체(entity)는 검색엔진과 AI가 하나의 대상으로 구별하는 사람, 회사, 제품, 장소를 말합니다. 머리글에는 영문 로고, 회사 소개에는 한글 이름, 블로그 글에는 약칭이 쓰여 있으면 AI 답변에 회사가 다른 이름으로 나오거나, 이름이 비슷한 다른 회사의 정보가 섞이기도 합니다.

아래는 가상 브랜드로 만든 표기 규칙표입니다.

영문 이름을 없애라는 뜻은 아닙니다. 영문으로도 많이 찾는다면 첫 등장에 괄호로 병기해 두 표기를 모두 페이지에 남기고, 옛 이름은 변경 이력을 설명하는 곳에만 씁니다.

구글 검색 결과에 표시되는 사이트 이름은 구글이 자동으로 정합니다. 원하는 이름을 알리려면 홈페이지에 WebSite 구조화 데이터를 넣고 name(공식 이름)과 url(홈페이지 주소)을 적습니다. alternateName에는 영문 이름 같은 다른 이름을 적어 구글이 함께 고려하게 할 수 있습니다. 사이트 이름은 도메인과 하위 도메인 단위로만 정할 수 있고, example.com/blog 같은 하위 폴더는 따로 정할 수 없습니다.

회사 정보는 Organization 구조화 데이터의 sameAs에 공식 소셜 계정처럼 회사를 설명하는 다른 사이트의 페이지 주소를 적어 잇습니다. 이름이 비슷하다는 이유만으로 다른 조직의 프로필을 연결하지 않습니다. 소셜 계정 이름, 입점한 쇼핑몰의 판매자명, 보도자료의 회사명도 규칙표에 맞추고, 모든 표기가 같은 공식 도메인을 가리키게 합니다.

비유로 보면 배달 앱에 가게를 등록하는 일과 닮았습니다

배달 앱에 가게를 올릴 때는 정보 공개에 동의하고, 메뉴와 가격을 글자로 입력하고, 상호와 주소 칸을 채웁니다. AI 검색에 페이지를 내보내는 일도 같은 순서입니다.

비유가 맞지 않는 곳도 있습니다. 배달 앱은 등록하면 목록에 나오지만, AI 검색은 이렇게 준비해도 답변에 인용되는지를 보장하지 않습니다. 이 준비는 AI 검색이 페이지 내용을 가져갈 수 있는 상태를 만드는 일입니다.

직접 해 보기: 행사 포스터를 정보 표로 옮기기

아래는 가상 포스터의 내용을 글로 옮긴 자료입니다. 메모장이나 문서 편집기만 있으면 됩니다.

1. 행사명, 일시, 장소, 참가비, 인원 조건, 신청 마감을 한 줄에 하나씩 표로 옮깁니다.
2. 다 옮긴 뒤 원문과 한 줄씩 대조합니다. 초안에 "10월 18일 시음회, 참가비 5,000원"만 있다면 연도, 시간, 장소, 인원, 마감이 빠진 것입니다.
3. 자료에 없는 상세 주소는 지어내지 않고 "상세 주소 확인 필요"로 남깁니다.
4. 참가비가 6,000원으로 바뀌었다고 가정하고 표를 고칩니다. 포스터 이미지 속 숫자는 찾기 기능으로 찾을 수 없으므로 눈으로 따로 대조합니다.

이미지 없이 표만 읽어도 신청에 필요한 정보를 찾을 수 있고, 모르는 정보는 모른다고 구분돼 있다면 연습은 끝입니다.

자주 묻는 질문

GPTBot을 막으면 챗GPT 검색에서도 빠지나요?

GPTBot만 막으면 빠지지 않습니다. OpenAI는 학습용 GPTBot과 검색용 OAI-SearchBot의 설정이 서로 독립적이라고 안내합니다. 챗GPT 검색 답변에 나오지 않게 되는 것은 OAI-SearchBot을 막았을 때입니다.

Google-Extended를 막으면 구글 AI 개요에서 빠지나요?

빠지지 않습니다. Google-Extended는 제미나이 학습과 그라운딩을 정하는 이름이고, 구글 검색 노출과 순위에는 영향을 주지 않습니다. AI 개요와 AI 모드에서 빼려면 서치 콘솔의 Google 검색 생성형 AI 설정을 씁니다.

AI가 이미지 속 글자도 읽지 않나요?

이미지를 분석하는 기술은 있습니다. 하지만 구글 AI 기능 문서는 중요한 내용을 글자 형태로 두라고 권하고, 마이크로소프트 빙 팀도 중요한 내용을 HTML로 적으라고 권합니다. 인용을 기대하는 가격과 조건은 이미지와 함께 본문 글자로도 적는 편이 확실합니다.

자주 묻는 질문 구조화 데이터는 이제 빼야 하나요?

빼지 않아도 됩니다. 구글은 2023년 표시 대상을 줄일 때 마크업을 미리 지울 필요가 없고 남겨 둬도 검색에 해가 없다고 안내했습니다. 다만 2026년 5월 7일부터 구글 검색에 질문 목록이 펼쳐지지 않으므로, 그 효과를 기대하고 새로 넣을 이유는 없습니다. 남겨 둔다면 화면에 보이는 질문과 답과 같게 유지합니다.

llms.txt 파일을 만들어야 하나요?

구글 검색에는 필요하지 않습니다. 구글은 AI용 파일이나 마크다운 파일을 새로 만들 필요가 없고 구글 검색은 이 파일을 쓰지 않는다고 밝힙니다. 다른 서비스를 위해 이 파일을 두는 것은 괜찮다고 안내합니다.

마무리: AI 검색에 페이지를 내보내기 전에 볼 것

• 들어오기: robots.txt에서 학습용 봇과 검색용 봇을 나눠 정하고, CDN과 서버 로그로 실제 접근을 확인합니다.
• 읽기: 가격, 기간, 조건은 이미지 안에만 두지 않고 본문 글자와 표로도 적습니다.
• 알아보기: 구조화 데이터와 회사 이름은 화면에 보이는 내용과 같게 적습니다.

직접 해 볼 일은 세 가지입니다.

1. 가상 행사 포스터의 여섯 가지 정보를 표로 옮기고 원문과 대조합니다.
2. 참가비가 바뀐 상황에서 표와 포스터를 따로 대조합니다.
3. 우리 사이트의 robots.txt를 열어 학습용과 검색용 봇 규칙을 확인합니다.

참고 자료

• OpenAI 크롤러 안내
• 앤트로픽 크롤러 안내(Claude 고객센터)
• 퍼플렉시티 크롤러 안내
• 애플 Applebot 안내
• 구글 크롤러와 Google-Extended
• 구글 검색 센터 AI 기능 문서
• 구글 생성형 AI 검색 최적화 가이드
• 서치 콘솔 Google 검색 생성형 AI 설정 도움말
• 구글 사용자 요청 가져오기 도구
• 구글 검색 센터 변경 기록
• 구글 구조화 데이터 일반 지침
• 구글 Article 구조화 데이터
• 구글 Organization 구조화 데이터
• 구글 사이트 이름 안내
• 클라우드플레어 robots.txt 설정
• RFC 9309 robots.txt 표준
• 마이크로소프트 광고 블로그: AI 검색 답변에 포함되는 콘텐츠
• WCAG 2.2 텍스트 이미지 기준