검색엔진 크롤러 (Search Crawler) 이해하기

🤔 아무도 찾아오지 않는 페이지

• "사이트에 페이지를 분명히 올렸는데 검색엔진이 있는지도 모르는 것 같습니다"
• "구글봇이라는 말을 자주 듣는데 정확히 무엇을 하는 건지 모르겠습니다"
• "어떤 페이지는 하루 만에 검색되고 어떤 페이지는 한 달이 지나도 그대로입니다"

앞에서 본 발견, 저장, 표시 가운데 첫 단계인 발견을 이 글에서 다룹니다.

🔑 검색엔진 크롤러의 정의

검색엔진 크롤러는 인터넷의 링크를 따라다니며 페이지를 찾아 읽어 오는 자동 프로그램입니다. 구글이 쓰는 크롤러의 이름은 구글봇(Googlebot)이고, 네이버는 예티(Yeti)라는 이름을 씁니다.

크롤러가 하는 일은 두 가지로 요약됩니다.

1. 주소를 알아냅니다. 이미 아는 페이지에 걸린 링크를 보고 새 주소를 수집합니다
2. 그 주소에 접속해 내용을 받아 옵니다. 사람이 브라우저로 페이지를 여는 것과 같은 동작입니다

여기서 오해가 자주 생깁니다. 크롤러는 인터넷 전체를 훑어보지 않습니다. 크롤러 봇이 알고 있는 주소만 방문합니다. 주소를 알 방법이 없으면 그 페이지는 검색엔진에게 없는 것이나 마찬가지입니다.

🚚 크롤러봇, 배송을 담당하는 배송기사

동네를 도는 배송기사가 있습니다. 배송기사는 담당 구역의 집들을 알고 있고, 매일 그 집들을 돕니다.

여기에 새 집이 한 채 생겼습니다. 배송기사가 이 집을 알게 되는 방법은 셋입니다. 이미 아는 집 사람이 말해 주거나, 주민센터 주소록에 새로 올라오거나, 집주인이 직접 찾아와 등록하는 것입니다.

골목 안쪽에 문패도 없이 지어진 집은 어떤 경로로도 알려지지 않습니다. 아무리 잘 지은 집이어도 마찬가지입니다. 페이지도 같습니다. 어디서도 링크되지 않고 사이트맵에도 없으면 발견되지 않습니다.

배송기사의 동선에도 특징이 있습니다. 택배가 자주 오가는 집은 매일 들르고, 몇 달째 아무것도 없는 집은 점점 뜸하게 갑니다. 실제로 구글도 크롤링 관련 문서에서 인기가 높거나 자주 바뀌는 주소를 더 자주 방문한다고 설명합니다.

🔁 크롤러가 페이지에 도착하는 세 가지 경로

세 경로는 서로를 대신하지 못합니다. 사이트맵에 주소를 올려 두어도 어디서도 링크되지 않은 페이지는 발견이 늦어질 수 있습니다. 링크가 우선이고 사이트맵은 그것을 돕는 수단입니다.

사이트맵과 내부 링크는 각각 따로 자세히 다룹니다.

⚖️ 데이터 수집용 크롤링과 다른 점

크롤링이라는 같은 단어를 쓰지만 목적이 전혀 다른 두 가지가 있습니다. 헷갈리기 쉬워서 표로 정리했습니다.

같은 사이트에서 한쪽은 환영하고 한쪽은 막는 상황이 동시에 벌어집니다. 데이터를 모으는 쪽 크롤링은 웹 크롤링에서 별도로 다룹니다.

⏱️ 크롤링 예산이라는 제약

검색엔진이 사이트 한 곳에 쓰는 시간과 횟수에는 한도가 있습니다. 구글은 이 한도를 크롤링 예산이라고 부르고 별도 문서로 안내합니다.

페이지가 스무 개인 사이트에서는 신경 쓸 일이 아닙니다. 그런데 상품이 수만 개인 쇼핑몰에서는 이야기가 달라집니다. 한도가 정해져 있으니 크롤러가 엉뚱한 페이지를 도는 데 시간을 쓰면 정작 중요한 상품 페이지에 도달하지 못합니다.

한도를 낭비하게 만드는 대표적인 경우입니다.

• 주소만 다르고 내용이 같은 페이지: 정렬 조건이나 필터가 붙은 주소가 무한히 만들어지는 구조
• 끊어진 링크: 없는 페이지로 보내는 링크를 계속 따라가게 됨
• 너무 느린 응답: 한 페이지를 받는 데 오래 걸리면 같은 시간에 도는 페이지 수가 줄어듦

세 항목은 정규 URL, 내부 링크, 페이지 속도를 다룰 때 다시 나옵니다.

🔍 크롤러가 웹사이트를 색인하지 못하는 대표적인 상황

새 카테고리 페이지를 만들었는데 검색엔진이 모를 때

메뉴에 넣지 않고 주소만 만들어 둔 경우입니다. 담당자는 주소를 알고 있으니 문제를 못 느끼는데, 크롤러 입장에서는 어디서도 이어지지 않는 페이지입니다. 메뉴나 관련 페이지에서 링크를 하나만 걸어도 상황이 바뀝니다.

로그인해야 보이는 페이지가 검색되지 않을 때

크롤러는 로그인을 하지 않습니다. 회원만 볼 수 있는 페이지는 크롤러에게도 보이지 않으므로 검색 결과에 나올 수 없습니다. 이 경우는 고장이 아니라 의도된 동작이라, 노출이 필요하면 일부 내용을 로그인 없이 볼 수 있게 열어야 합니다.

화면에는 글이 보이는데 검색엔진은 빈 페이지로 인식할 때

브라우저에서 스크립트가 실행된 뒤에야 본문이 채워지는 구조에서 생깁니다. 크롤러가 처음 받아 가는 파일에는 본문이 없을 수 있습니다. 서치 콘솔의 URL 검사에서 크롤러가 실제로 받아 간 내용을 확인하면 바로 드러납니다.

세 상황 모두 글을 고쳐서는 풀리지 않습니다. 크롤러가 오는 길이 막힌 것이기 때문입니다.

크롤러 봇이 페이지를 받아 온 다음에 무슨 일이 벌어지는지는 색인에서 이어집니다.

📋 30초 요약

1. 검색엔진 크롤러는 링크를 따라다니며 페이지를 찾아 읽어 오는 프로그램입니다. 인터넷 전체를 훑는 것이 아니라 크롤러 봇이 알고 있는 주소만 방문합니다.

2. 동네를 도는 배송기사와 같습니다. 이웃이 알려 주거나, 주민센터 주소록에 오르거나, 집주인이 직접 등록해야 새 집을 알게 됩니다. 셋 다 없는 페이지는 발견되지 않습니다.

3. 크롤링 예산이라는 한도가 있습니다. 중복 주소, 끊어진 링크, 느린 응답이 한도를 갉아먹으면 정작 중요한 페이지가 뒤로 밀립니다.

참고 자료

아래 공식 문서는 2026년 8월 기준으로 확인했습니다. 검색엔진 정책은 바뀔 수 있으므로 최신 내용은 원문에서 확인하시면 됩니다.

• Google 크롤러 개요 (Google 검색 센터)
• 크롤링 예산 관리 (Google 크롤링 인프라 문서)
• FAQ: Google 검색 크롤링 및 색인 생성 (Google 검색 센터)
• 검색엔진 최적화 가이드 (네이버 서치어드바이저)