Индексация Google : краулинг, бюджет и устранение блокировок
7 min
Google индексирует страницы в три этапа : обнаружение, краулинг и индексация. Плохо управляемый бюджет краулинга оставляет ключевые страницы вне индекса. Прежде всего проверьте покрытие в Search Console, затем устраните паразитные URL, расходующие ваши лимиты.
Страница вне индекса — невидимая страница. Тем не менее многие сайты страдают от скрытых проблем индексации, которые их владельцы никогда не замечают. Вот метод диагностики и устранения этих блокировок.
Как Google обнаруживает и индексирует ваши страницы
Googlebot отправляется от уже известных страниц и переходит по ссылкам, чтобы обнаружить новые. Затем он читает контент, при необходимости рендерит JavaScript и передаёт страницу в индекс — процесс, который может занять от нескольких часов до нескольких недель.
Индексация не гарантирована : Google самостоятельно решает, какие страницы заслуживают индексации, исходя из их качества, уникальности и авторитетности сайта.
Бюджет краулинга : что это такое и когда это критично
Бюджет краулинга — количество страниц, которые Googlebot готов сканировать на вашем сайте за определённый промежуток времени. Он ограничен, чтобы не перегружать ваш сервер.
Для большинства сайтов объёмом менее 1 000 страниц бюджет краулинга не является проблемой. Он становится критичным для крупных интернет-магазинов, сайтов с фасетной навигацией или платформ, генерирующих тысячи динамических URL.
Страницы с низкой добавленной стоимостью — результаты фильтров, URL сессий, дубликаты — расходуют этот бюджет и задерживают индексацию приоритетных страниц.
На крупных интернет-магазинах от 20 до 60 % сканируемых URL могут быть малоценными вариантами, бесполезно расходующими бюджет краулинга.
Отраслевые исследования 2025–2026 года по SEO-архитектуре e-commerce
Диагностика проблем с индексацией
Отчёт «Покрытие» (теперь «Индексация страниц») в Search Console — ваш первый инструмент. Он различает индексированные, исключённые и ошибочные страницы с указанием конкретной причины для каждой категории.
Используйте инструмент проверки URL для тестирования конкретной страницы : Google покажет, индексирована ли она, дату последнего сканирования и обнаруженные проблемы.
- Ошибка 404 или 5xx : страница недоступна в момент краулинга.
- Заблокирована robots.txt : доступ Googlebot запрещён.
- Присутствует тег noindex : вы явно запросили исключение.
- Дублированная страница, Google выбрал другой канонический URL.
- Невозможно обнаружить : ни одна внутренняя ссылка не ведёт на страницу.
Ускорение индексации новых страниц
Отправляйте новые URL через инструмент проверки URL в Search Console или через Indexing API (теоретически предназначен для вакансий и подкастов, но часто используется для другого контента).
Самый надёжный метод — строить внутренние ссылки с уже хорошо проиндексированных страниц на новые URL : Googlebot обнаружит их естественным образом при следующем краулинге.
FAQ
Почему моя страница не появляется в Google, несмотря на отправку sitemap ?
Sitemap сообщает Google о существовании страницы, но не обязывает к индексации. Google оценивает качество, уникальность и релевантность перед индексированием. Убедитесь, что нет тега noindex и что страница содержит достаточно контента.
Может ли страница, заблокированная в robots.txt, появиться в результатах ?
Да, если другие сайты ссылаются на неё. Google может отображать URL, не имея возможности её просканировать, что означает отсутствие сниппета. Для полного исключения страницы сочетайте robots.txt и тег noindex, или используйте только noindex.
Каков нормальный срок между публикацией и индексацией ?
Для авторитетного сайта — от нескольких часов до 48 часов для страниц, связанных с главной. Для нового сайта или страницы-сироты это может занять несколько недель.