색인 (Indexing) 이해하기

🤔 크롤러는 다녀갔는데 검색은 되지 않는 상태

• "서치 콘솔에 크롤링은 됐다고 나오는데 검색 결과에는 없습니다"
• "색인이라는 말을 자주 보는데 크롤링과 뭐가 다른지 모르겠습니다"
• "어제 올린 페이지가 오늘 검색되는데 지난달 페이지는 아직도 안 나옵니다"

앞에서 크롤러가 페이지를 받아 오는 데까지 봤습니다. 받아 온 다음에 무슨 일이 벌어지는지를 이 글에서 다룹니다.

🔑 색인의 정의

색인(Indexing)은 검색엔진이 크롤러가 받아 온 페이지를 분석해 자기 데이터베이스에 저장하는 단계입니다.

실제로 구글도 공식 문서에서 이 단계를 색인 생성이라고 부릅니다. 페이지의 텍스트와 이미지, 영상을 분석해 색인이라는 대규모 데이터베이스에 저장한다는 설명입니다. 여기서 꼭 구분해야 하는 것이 있습니다. 크롤러가 다녀간 것과 색인된 것은 다릅니다. 크롤러는 페이지를 받아 오기만 하고, 저장할지 말지는 그다음에 따로 판단합니다.

저장 단계에서 검색엔진이 하는 일입니다.

1. 내용을 분석합니다. 이 페이지가 무엇을 다루는 문서인지 파악합니다
2. 저장할지 정합니다. 이미 있는 문서와 겹치지 않는지, 따로 보관할 이유가 있는지 판단합니다
3. 저장합니다. 어떤 검색어가 들어왔을 때 꺼낼 수 있는 형태로 정리해 둡니다

두 번째 단계에서 걸리면 크롤링은 됐는데 검색은 안 되는 상태가 됩니다.

📚 색인, 사서가 책을 서가에 꽂는 일

도서관에 책 한 권이 들어왔습니다. 문 안으로 들어왔다고 해서 바로 빌릴 수 있는 상태가 되지는 않습니다. 사서가 책을 펼쳐 무슨 내용인지 확인하고, 어느 분야로 분류할지 정하고, 목록에 적어 서가에 꽂아야 그때부터 누군가 찾아볼 수 있게 됩니다.

그런데 사서가 서가에 꽂지 않고 창고에 두는 경우가 있습니다.

• 같은 책이 이미 서가에 있습니다. 똑같은 책을 두 권 꽂을 이유가 없습니다
• 표지에 "비치하지 말 것"이라고 붙어 있습니다. 기증자가 그렇게 요청했습니다
• 속이 거의 비어 있습니다. 제목만 있고 내용이 몇 줄뿐입니다

셋 다 책이 도서관에 들어온 뒤에 내려진 판단입니다. 책을 더 많이 보내도 달라지지 않습니다. 웹페이지도 똑같습니다. 색인에서 걸린 페이지에 링크를 더 걸어 봐야 상태가 바뀌지 않습니다.

🚦 크롤링과 색인의 차이

두 표기가 비슷해 보이지만 뜻이 완전히 다릅니다. "검색됨"은 크롤러가 아직 오지 않았다는 뜻이고, "크롤링됨"은 받아 갔는데 저장하지 않았다는 뜻입니다. 해야 할 일도 정반대입니다.

🚫 색인되지 않는 대표적인 이유

noindex 표시가 붙어 있는 경우

페이지에 색인하지 말라는 표시를 직접 넣을 수 있습니다. 검색엔진은 이 표시를 지킵니다. 문제는 의도치 않게 남아 있을 때입니다. 사이트를 만드는 동안 검색 노출을 막아 두었다가 공개할 때 푸는 것을 잊으면 사이트 전체가 검색에서 빠집니다.

정규 URL이 다른 주소를 가리키는 경우

이 페이지 대신 저 페이지를 대표 주소로 삼으라고 지정해 두면, 검색엔진은 지정된 쪽을 저장하고 이 페이지는 저장하지 않습니다. 정규 URL에서 자세히 설명합니다.

내용이 다른 페이지와 겹치는 경우

상품 색상만 다르고 설명이 같은 페이지가 수십 개일 때 자주 나옵니다. 검색엔진은 그중 하나만 남기고 나머지를 저장하지 않습니다.

본문이 너무 얇은 경우

제목과 이미지 한 장, 문장 두어 줄만 있는 페이지는 따로 저장할 이유를 찾기 어렵습니다. 태그 목록이나 자동 생성 페이지에서 이런 상태가 자주 나타납니다.

발행한 지 얼마 되지 않은 경우

이건 고장이 아니라 시간이 더 필요한 상황입니다. 발견에서 저장까지 며칠에서 몇 주가 걸리기도 합니다.

🔍 색인 여부에서 달라지는 실무 상황 세 가지

사이트를 새로 열었는데 회사 이름으로도 안 나올 때

가장 먼저 볼 것은 개발 단계에서 걸어 둔 색인 거부 표시입니다. 페이지를 아무리 늘려도 이 표시가 남아 있으면 하나도 저장되지 않습니다. 서치 콘솔 URL 검사에서 색인 거부 여부를 바로 확인할 수 있습니다.

쇼핑몰 상품 페이지 대부분이 색인되지 않을 때

상품마다 사진과 가격만 다르고 설명 문구가 같은 구조에서 자주 나옵니다. 검색엔진 입장에서는 사실상 같은 문서가 수백 개인 셈입니다. 상품별로 다른 문장을 한 문단씩만 넣어도 상태가 달라지는 경우가 많습니다.

태그 페이지가 색인되지 않을 때

태그에 걸린 글이 한두 개뿐인 페이지는 본문이 거의 없습니다. 이런 페이지는 색인되지 않아도 크게 아쉽지 않습니다. 검색하는 사람이 그 페이지에서 얻을 것이 거의 없기 때문입니다. 색인은 많을수록 좋은 것이 아니라, 저장될 만한 페이지가 저장되는 것이 목표입니다.

색인 여부를 확인하는 방법은 서치 콘솔로 색인 상태 확인하기에서 다룹니다. 다음 글에서는 크롤러 봇에게 어디를 다니지 말라고 알려 주는 robots.txt를 봅니다.

❓ 자주 묻는 질문

색인이 안 되는 페이지에 링크를 더 걸면 되나요?

상태가 바뀌지 않습니다. 링크와 사이트맵은 크롤러가 페이지에 닿는 경로를 만드는 장치인데, 색인에서 걸린 페이지는 이미 크롤러가 다녀간 뒤입니다. 서치 콘솔에 크롤링됨으로 나온다면 경로가 아니라 페이지 내용을 고쳐야 합니다.

새로 올린 글은 며칠이면 색인되나요?

며칠에서 몇 주까지 걸립니다. 발행 직후에 검색되지 않는 상태는 고장이 아니라 아직 차례가 오지 않은 상태에 가깝습니다. 색인 거부 표시나 정규 URL 지정처럼 다른 원인이 있는지는 서치 콘솔 URL 검사에서 바로 확인할 수 있습니다.

색인된 페이지가 많을수록 좋은가요?

수가 목표는 아닙니다. 저장될 만한 페이지가 저장되는 것이 목표입니다. 글이 한두 개만 걸린 태그 페이지처럼 본문이 거의 없는 페이지는 색인되지 않아도 아쉬울 것이 없고, 검색해서 들어온 사람도 그 페이지에서 얻을 것이 거의 없습니다.

📋 3줄 요약

1. 색인은 검색엔진이 크롤러가 받아 온 페이지를 분석해 자기 데이터베이스에 저장하는 단계이고 색인되지 않으면 어떤 검색어로도 나오지 않습니다.

2. 크롤링은 주소를 알면 방문하는 단계라 판단이 거의 없지만 색인은 저장할 가치가 있는지 검색엔진이 판단하는 단계입니다.

3. 서치 콘솔에 크롤링됨으로 나오면 받아 갔지만 저장하지 않은 상태이므로 경로가 아니라 페이지 내용 자체를 고쳐야 합니다.

참고 자료

아래 공식 문서는 2026년 8월 기준으로 확인했습니다. 검색엔진 정책은 바뀔 수 있으므로 최신 내용은 원문에서 확인하시면 됩니다.

• Google 검색의 작동 방식 (Google 검색 센터)
• 페이지 색인 생성 보고서 (Search Console 고객센터)
• 색인 생성 차단하기: noindex (Google 검색 센터)
• 중복 URL 통합 방법 (Google 검색 센터)