색인 (Indexing) 이해하기

🤔 크롤러는 다녀갔는데 검색은 되지 않는 상태

• "서치 콘솔에 크롤링은 됐다고 나오는데 검색 결과에는 없습니다"
• "색인이라는 말을 자주 보는데 크롤링과 뭐가 다른지 모르겠습니다"
• "어제 올린 페이지가 오늘 검색되는데 지난달 페이지는 아직도 안 나옵니다"

앞 강에서 크롤러가 페이지를 받아 오는 데까지 봤습니다. 받아 온 다음에 무슨 일이 벌어지는지가 이번 강의 주제입니다.

🔑 색인의 정의

색인(Indexing)은 검색엔진이 크롤러가 받아 온 페이지를 분석해 자기 데이터베이스에 저장하는 단계입니다.

여기서 꼭 구분해야 하는 것이 있습니다. 크롤러가 다녀간 것과 색인된 것은 다릅니다. 크롤러는 페이지를 받아 오기만 하고, 저장할지 말지는 그다음에 따로 판단합니다.

저장 단계에서 검색엔진이 하는 일입니다.

1. 내용을 분석합니다. 이 페이지가 무엇을 다루는 문서인지 파악합니다
2. 저장할지 정합니다. 이미 있는 문서와 겹치지 않는지, 따로 보관할 이유가 있는지 판단합니다
3. 저장합니다. 어떤 검색어가 들어왔을 때 꺼낼 수 있는 형태로 정리해 둡니다

두 번째 단계에서 걸리면 크롤링은 됐는데 검색은 안 되는 상태가 됩니다.

📚 사서가 책을 서가에 꽂는 일

도서관에 책 한 권이 들어왔습니다. 문 안으로 들어왔다고 해서 바로 빌릴 수 있는 상태가 되지는 않습니다. 사서가 책을 펼쳐 무슨 내용인지 확인하고, 어느 분야로 분류할지 정하고, 목록에 적어 서가에 꽂아야 비로소 누군가 찾아볼 수 있게 됩니다.

그런데 사서가 서가에 꽂지 않고 창고에 두는 경우가 있습니다.

• 같은 책이 이미 서가에 있습니다. 똑같은 책을 두 권 꽂을 이유가 없습니다
• 표지에 "비치하지 말 것"이라고 붙어 있습니다. 기증자가 그렇게 요청했습니다
• 속이 거의 비어 있습니다. 제목만 있고 내용이 몇 줄뿐입니다

셋 다 책이 도서관에 도착한 뒤에 일어난 판단입니다. 책을 더 많이 보내는 것으로는 풀리지 않습니다. 웹페이지도 똑같습니다. 색인에서 걸린 페이지에 링크를 더 걸어 봐야 상태가 바뀌지 않습니다.

🚦 크롤링과 색인의 차이

두 표기가 비슷해 보이지만 뜻이 완전히 다릅니다. 앞의 것은 아직 안 왔다는 뜻이고, 뒤의 것은 왔다가 그냥 갔다는 뜻입니다. 해야 할 일도 정반대입니다.

🚫 색인되지 않는 대표적인 이유

noindex 표시가 붙어 있는 경우

페이지에 색인하지 말라는 표시를 직접 넣을 수 있습니다. 검색엔진은 이 표시를 지킵니다. 문제는 의도치 않게 남아 있을 때입니다. 사이트를 만드는 동안 검색 노출을 막아 두었다가 공개할 때 푸는 것을 잊으면 사이트 전체가 검색에서 빠집니다.

정규 URL이 다른 주소를 가리키는 경우

이 페이지 대신 저 페이지를 정본으로 삼으라고 지정해 두면, 검색엔진은 지정된 쪽을 저장하고 이 페이지는 저장하지 않습니다. 6강에서 자세히 다룹니다.

내용이 다른 페이지와 겹치는 경우

상품 색상만 다르고 설명이 같은 페이지가 수십 개일 때 자주 나옵니다. 검색엔진은 그중 하나만 남기고 나머지를 저장하지 않습니다.

본문이 너무 얇은 경우

제목과 이미지 한 장, 문장 두어 줄만 있는 페이지는 따로 저장할 이유를 찾기 어렵습니다. 태그 목록이나 자동 생성 페이지에서 흔합니다.

발행한 지 얼마 되지 않은 경우

이건 문제가 아니라 순서입니다. 발견에서 저장까지 며칠에서 몇 주가 걸리기도 합니다.

🔍 색인 여부로 갈리는 실무 상황 세 가지

사이트를 새로 열었는데 회사 이름으로도 안 나올 때

가장 먼저 볼 것은 개발 단계에서 걸어 둔 색인 거부 표시입니다. 페이지를 아무리 늘려도 이 표시가 남아 있으면 하나도 저장되지 않습니다. 서치 콘솔 URL 검사에서 색인 거부 여부를 바로 확인할 수 있습니다.

쇼핑몰 상품 페이지 대부분이 색인되지 않을 때

상품마다 사진과 가격만 다르고 설명 문구가 같은 구조에서 자주 나옵니다. 검색엔진 입장에서는 사실상 같은 문서가 수백 개인 셈입니다. 상품별로 다른 문장을 한 문단씩만 넣어도 상태가 달라지는 경우가 많습니다.

태그 페이지가 색인되지 않을 때

태그에 걸린 글이 한두 개뿐인 페이지는 본문이 거의 없습니다. 이런 페이지는 색인되지 않는 편이 오히려 낫습니다. 얇은 페이지가 많으면 사이트 전체 평가에 도움이 되지 않기 때문입니다. 색인은 많을수록 좋은 것이 아니라, 저장될 만한 페이지가 저장되는 것이 목표입니다.

색인 여부를 서치 콘솔에서 직접 확인하는 방법은 9강에서 다룹니다. 다음 강에서는 크롤러에게 어디를 다니지 말라고 알려 주는 robots.txt를 봅니다.

📋 30초 요약

1. 색인은 크롤러가 받아 온 페이지를 분석해 데이터베이스에 저장하는 단계입니다. 크롤링과 색인은 다른 단계이고, 크롤링만 되고 색인이 안 되는 상태가 실제로 자주 나옵니다.

2. 도서관에 들어온 책이 서가에 꽂히는 것과 같습니다. 같은 책이 이미 있거나, 비치하지 말라고 붙어 있거나, 속이 비어 있으면 창고에 남습니다.

3. 색인에서 걸린 페이지는 링크를 더 걸어도 풀리지 않습니다. noindex 표시, 정규 URL 지정, 내용 중복, 얇은 본문 가운데 무엇에 걸렸는지 확인하고 페이지 자체를 손봐야 합니다.