Google 색인: 크롤, 예산 및 차단 해제
7 min
Google은 세 단계로 페이지를 색인합니다: 발견, 크롤, 색인. 크롤 예산 관리가 잘못되면 핵심 페이지가 색인에서 제외됩니다. 먼저 Search Console에서 커버리지를 확인하고, 쿼터를 낭비하는 불필요한 URL을 제거하세요.
색인되지 않은 페이지는 보이지 않는 페이지입니다. 그럼에도 많은 사이트가 소유자가 전혀 감지하지 못하는 무음 색인 문제로 고통받습니다. 이 차단을 진단하고 해결하는 방법을 소개합니다.
Google이 페이지를 발견하고 색인하는 방법
Googlebot은 이미 알려진 페이지에서 시작하여 링크를 따라가며 새로운 페이지를 발견합니다. 그런 다음 콘텐츠를 읽고 필요한 경우 JavaScript를 렌더링한 후 페이지를 색인에 전달합니다. 이 과정은 몇 시간에서 수 주가 걸릴 수 있습니다.
색인은 보장되지 않습니다. Google은 페이지의 품질, 고유성 및 사이트 권위를 기반으로 색인할 가치가 있는 페이지를 독자적으로 결정합니다.
크롤 예산: 정의와 중요한 경우
크롤 예산은 Googlebot이 주어진 시간 간격 동안 사이트에서 크롤하는 데 동의하는 페이지 수입니다. 서버에 과부하를 주지 않기 위해 제한됩니다.
1,000페이지 미만의 대부분의 사이트에서 크롤 예산은 문제가 되지 않습니다. 대형 e-커머스, 패싯 사이트, 수천 개의 동적 URL을 생성하는 플랫폼에서는 중요한 문제가 됩니다.
낮은 부가가치 페이지(필터 결과, 세션 URL, 중복)는 이 예산을 낭비하고 우선순위 페이지의 색인을 지연시킵니다.
대형 e-커머스 사이트에서 크롤된 URL의 20~60%가 크롤 예산을 불필요하게 소비하는 낮은 가치의 변형일 수 있습니다.
2025-2026년 e-커머스 SEO 아키텍처 부문별 연구
색인 문제 진단
Search Console의 '커버리지' 보고서(현재 '페이지 색인')가 첫 번째 도구입니다. 각 카테고리에 대한 정확한 이유와 함께 색인된 페이지, 제외된 페이지, 오류 페이지를 구분합니다.
URL 검사 도구를 사용하여 특정 페이지를 테스트하세요. Google은 색인 여부, 마지막 크롤 날짜, 감지된 문제를 알려줍니다.
- 404 또는 5xx 오류: 크롤 시 페이지에 접근할 수 없음.
- robots.txt에 의해 차단됨: Googlebot 접근 금지.
- noindex 태그 존재: 명시적으로 제외를 요청함.
- 중복 페이지, Google이 다른 정규 URL을 선택함.
- 발견 불가: 어떤 내부 링크도 페이지를 가리키지 않음.
새 페이지 색인 가속화
Search Console의 URL 검사 도구나 Indexing API(이론적으로 채용 공고와 팟캐스트를 위한 것이지만 다른 콘텐츠에도 자주 사용됨)를 통해 새 URL을 제출하세요.
가장 신뢰할 수 있는 방법은 이미 잘 색인된 페이지에서 새 URL로 내부 링크를 구축하는 것입니다. Googlebot이 다음 크롤 시 자연스럽게 발견하게 됩니다.
FAQ
사이트맵을 제출했는데도 왜 페이지가 Google에 나타나지 않나요?
사이트맵은 페이지가 존재한다는 것을 Google에 알리지만 색인을 강제하지는 않습니다. Google은 색인 전에 품질, 고유성, 관련성을 평가합니다. noindex가 없고 페이지가 실질적인 콘텐츠를 제공하는지 확인하세요.
robots.txt에 차단된 페이지가 검색 결과에 나타날 수 있나요?
네, 다른 사이트가 해당 페이지를 링크하는 경우 가능합니다. Google은 크롤할 수 없었던 경우 URL을 표시할 수 있으며, 이는 발췌문이 표시되지 않음을 의미합니다. 페이지를 완전히 제외하려면 robots.txt와 noindex 태그를 결합하거나 noindex만 사용하세요.
게시부터 색인까지의 정상적인 지연 시간은 얼마인가요?
잘 구축된 사이트의 경우 홈페이지에서 링크된 페이지는 몇 시간에서 48시간. 최근 사이트나 고아 페이지의 경우 수 주가 걸릴 수 있습니다.