Индексация Google: краулинг, бюджет и устранение блокировок
· 7 min
Google индексирует страницы в три этапа: обнаружение, краулинг и индексация. Плохо управляемый бюджет краулинга оставляет ключевые страницы вне индекса. Прежде всего проверьте покрытие в Search Console, затем устраните паразитные URL, расходующие ваши лимиты.
Страница вне индекса — невидимая страница. Тем не менее многие сайты страдают от скрытых проблем индексации, которые их владельцы никогда не замечают. Вот метод диагностики и устранения этих блокировок.
Как Google обнаруживает и индексирует ваши страницы
Googlebot начинает с уже известных страниц и переходит по ссылкам, чтобы обнаружить новые. Затем он читает контент, при необходимости рендерит JavaScript и передаёт страницу в индекс — процесс, который может занять от нескольких часов до нескольких недель.
Индексация не гарантирована: Google самостоятельно решает, какие страницы заслуживают индексации, исходя из их качества, уникальности и авторитетности сайта.
Бюджет краулинга: что это такое и когда это критично
Бюджет краулинга — количество страниц, которые Googlebot готов сканировать на вашем сайте за определённый промежуток времени. Он ограничен, чтобы не перегружать ваш сервер.
Для большинства сайтов объёмом менее 1 000 страниц бюджет краулинга не является проблемой. Он становится критичным для крупных интернет-магазинов, сайтов с фасетной навигацией или платформ, генерирующих тысячи динамических URL.
Страницы с низкой добавленной стоимостью — результаты фильтров, URL сессий, дубликаты — расходуют этот бюджет и задерживают индексацию приоритетных страниц.
На крупных интернет-магазинах от 20 до 60 % сканируемых URL могут быть малоценными вариантами, бесполезно расходующими бюджет краулинга.
Отраслевые исследования 2025–2026 года по SEO-архитектуре e-commerce
Диагностика проблем с индексацией
Отчёт «Покрытие» (теперь «Индексация страниц») в Search Console — ваш первый инструмент. Он различает индексированные, исключённые и ошибочные страницы с указанием конкретной причины для каждой категории.
Используйте инструмент проверки URL для тестирования конкретной страницы: Google покажет, индексирована ли она, дату последнего сканирования и обнаруженные проблемы.
- Ошибка 404 или 5xx: страница недоступна в момент краулинга.
- Заблокирована robots.txt: доступ Googlebot запрещён.
- Присутствует тег noindex: вы явно запросили исключение.
- Дублированная страница, Google выбрал другой канонический URL.
- Невозможно обнаружить: ни одна внутренняя ссылка не ведёт на страницу.
Ускорение индексации новых страниц
Отправляйте новые URL через инструмент проверки URL в Search Console или через Indexing API (теоретически предназначен для вакансий и подкастов, но часто используется для другого контента).
Самый надёжный метод — строить внутренние ссылки с уже хорошо проиндексированных страниц на новые URL: Googlebot обнаружит их естественным образом при следующем краулинге.
FAQ
Почему моя страница не появляется в Google, несмотря на отправку sitemap?
Sitemap сообщает Google о существовании страницы, но не обязывает к индексации. Google оценивает качество, уникальность и релевантность перед индексированием. Убедитесь, что нет тега noindex и что страница содержит достаточно контента.
Может ли страница, заблокированная в robots.txt, появиться в результатах?
Да, если другие сайты ссылаются на неё. Google может отображать URL, не имея возможности её просканировать, что означает отсутствие сниппета. Для полного исключения страницы сочетайте robots.txt и тег noindex, или используйте только noindex.
Каков нормальный срок между публикацией и индексацией?
Для авторитетного сайта — от нескольких часов до 48 часов для страниц, связанных с главной. Для нового сайта или страницы-сироты это может занять несколько недель.
Читайте также
Как обстоят дела с вашим сайтом в Google?
Проверьте свой сайт за несколько секунд: SEO-оценка, сильные стороны и приоритеты действий. Полный аудит, подготовленный нашими экспертами, предоставляется вам бесплатно — без обязательств.