검색엔진 크롤러 (Search Crawler) 이해하기

🤔 아무도 찾아오지 않는 페이지

• "사이트에 페이지를 분명히 올렸는데 검색엔진이 있는지도 모르는 것 같습니다"
• "구글봇이라는 말을 자주 듣는데 정확히 무엇을 하는 건지 모르겠습니다"
• "어떤 페이지는 하루 만에 검색되고 어떤 페이지는 한 달이 지나도 그대로입니다"

앞 강에서 본 발견, 저장, 표시 가운데 첫 단계인 발견을 담당하는 것이 이번 강의 주제입니다.

🔑 검색엔진 크롤러의 정의

검색엔진 크롤러는 인터넷의 링크를 따라다니며 페이지를 찾아 읽어 오는 자동 프로그램입니다. 구글이 쓰는 크롤러의 이름은 구글봇(Googlebot)이고, 네이버는 예티(Yeti)라는 이름을 씁니다.

크롤러가 하는 일은 두 가지로 요약됩니다.

1. 주소를 알아냅니다. 이미 아는 페이지에 걸린 링크를 보고 새 주소를 수집합니다
2. 그 주소에 접속해 내용을 받아 옵니다. 사람이 브라우저로 페이지를 여는 것과 같은 동작입니다

여기서 오해가 자주 생깁니다. 크롤러는 인터넷 전체를 훑어보는 존재가 아닙니다. 자기가 아는 주소만 방문합니다. 주소를 알 방법이 없으면 그 페이지는 세상에 없는 것과 같습니다.

📮 골목을 도는 우편배달부

동네를 도는 우편배달부가 있습니다. 배달부는 담당 구역의 집들을 알고 있고, 매일 그 집들을 돕니다.

여기에 새 집이 한 채 생겼습니다. 배달부가 이 집을 알게 되는 방법은 셋입니다. 이미 아는 집 사람이 말해 주거나, 주민센터 명단에 새로 올라오거나, 집주인이 직접 찾아와 등록하는 것입니다.

골목 안쪽에 문패도 없이 지어진 집은 어떤 경로로도 알려지지 않습니다. 아무리 잘 지은 집이어도 마찬가지입니다. 페이지도 같습니다. 어디서도 링크되지 않고 사이트맵에도 없으면 발견되지 않습니다.

배달부의 습관에도 특징이 있습니다. 우편물이 자주 오가는 집은 매일 들르고, 몇 달째 아무것도 없는 집은 점점 뜸하게 갑니다. 크롤러도 자주 바뀌는 페이지를 더 자주 방문합니다.

🔁 크롤러가 페이지에 도착하는 세 가지 경로

세 경로는 서로를 대체하지 않습니다. 사이트맵에 주소를 올려 두어도 어디서도 링크되지 않은 페이지는 중요도가 낮다고 판단되기 쉽습니다. 링크가 기본이고 사이트맵이 보완이라는 순서를 기억하면 됩니다.

사이트맵은 5강에서, 내부 링크는 7강에서 각각 자세히 다룹니다.

⚖️ 데이터 수집용 크롤링과 다른 점

크롤링이라는 같은 단어를 쓰지만 목적이 전혀 다른 두 가지가 있습니다. 헷갈리기 쉬워서 표로 정리했습니다.

같은 사이트에서 한쪽은 환영하고 한쪽은 막는 상황이 동시에 벌어집니다. 데이터를 모으는 쪽 크롤링은 웹 크롤링 강에서 별도로 다룹니다.

⏱️ 크롤링 예산이라는 제약

검색엔진이 사이트 한 곳에 쓰는 시간과 횟수에는 한도가 있습니다. 업계에서는 이것을 크롤링 예산이라고 부릅니다.

페이지가 스무 개인 사이트에서는 신경 쓸 일이 아닙니다. 그런데 상품이 수만 개인 쇼핑몰에서는 이야기가 달라집니다. 한도가 정해져 있으니 크롤러가 엉뚱한 페이지를 도는 데 시간을 쓰면 정작 중요한 상품 페이지에 도달하지 못합니다.

한도를 낭비하게 만드는 대표적인 경우입니다.

• 주소만 다르고 내용이 같은 페이지: 정렬 조건이나 필터가 붙은 주소가 무한히 만들어지는 구조
• 끊어진 링크: 없는 페이지로 보내는 링크를 계속 따라가게 됨
• 너무 느린 응답: 한 페이지를 받는 데 오래 걸리면 같은 시간에 도는 페이지 수가 줄어듦

세 항목은 각각 6강, 7강, 8강에서 다시 나옵니다.

🔍 크롤러가 도착하지 못하는 세 가지 상황

새 카테고리 페이지를 만들었는데 검색엔진이 모를 때

메뉴에 넣지 않고 주소만 만들어 둔 경우입니다. 담당자는 주소를 알고 있으니 문제를 못 느끼는데, 크롤러 입장에서는 어디서도 이어지지 않는 페이지입니다. 메뉴나 관련 페이지에서 링크를 하나만 걸어도 상황이 바뀝니다.

로그인해야 보이는 페이지가 검색되지 않을 때

크롤러는 로그인을 하지 않습니다. 회원만 볼 수 있는 페이지는 크롤러에게도 보이지 않으므로 검색 결과에 나올 수 없습니다. 이 경우는 고장이 아니라 의도된 동작이라, 노출이 필요하면 일부 내용을 로그인 없이 볼 수 있게 열어야 합니다.

화면에는 글이 보이는데 검색엔진은 빈 페이지로 인식할 때

브라우저에서 스크립트가 실행된 뒤에야 본문이 채워지는 구조에서 생깁니다. 크롤러가 처음 받아 가는 파일에는 본문이 없을 수 있습니다. 서치 콘솔의 URL 검사에서 크롤러가 실제로 받아 간 내용을 확인하면 바로 드러납니다.

세 상황 모두 글을 고쳐서는 풀리지 않습니다. 도달 경로의 문제이기 때문입니다.

크롤러가 페이지를 받아 온 다음에 무슨 일이 벌어지는지는 다음 강에서 이어집니다.

📋 30초 요약

1. 검색엔진 크롤러는 링크를 따라다니며 페이지를 찾아 읽어 오는 프로그램입니다. 인터넷 전체를 훑는 것이 아니라 자기가 아는 주소만 방문합니다.

2. 골목을 도는 우편배달부와 같습니다. 이웃이 알려 주거나, 주민센터 명단에 오르거나, 집주인이 직접 등록해야 새 집을 알게 됩니다. 셋 다 없는 페이지는 발견되지 않습니다.

3. 크롤링 예산이라는 한도가 있습니다. 중복 주소, 끊어진 링크, 느린 응답이 한도를 갉아먹으면 정작 중요한 페이지가 뒤로 밀립니다.