Indexation Google : crawl, budget et déblocage
En résumé
Google indexe vos pages en trois étapes : découverte, crawl et indexation. Un budget de crawl mal géré laisse vos pages clés hors index. Vérifiez d'abord la couverture dans Search Console, puis éliminez les URLs parasites qui gaspillent votre quota.
Une page non indexée est une page invisible. Pourtant, de nombreux sites souffrent de problèmes d'indexation silencieux que leurs propriétaires ne détectent jamais. Voici la méthode pour diagnostiquer et résoudre ces blocages.
Comment Google découvre et indexe vos pages
Googlebot part de pages déjà connues et suit les liens pour en découvrir de nouvelles. Il lit ensuite le contenu, rend le JavaScript si nécessaire, et transmet la page à l'index — un processus qui peut prendre de quelques heures à plusieurs semaines.
L'indexation n'est pas garantie : Google décide souverainement quelles pages méritent d'être indexées en fonction de leur qualité, leur unicité et l'autorité du site.
Budget de crawl : qu'est-ce que c'est et quand est-ce critique
Le budget de crawl correspond au nombre de pages que Googlebot accepte de crawlter sur votre site dans un intervalle de temps donné. Il est limité pour ne pas surcharger votre serveur.
Pour la majorité des sites de moins de 1 000 pages, le budget de crawl n'est pas un problème. Il devient critique pour les e-commerces de grande taille, les sites à facettes, ou les plateformes générant des milliers d'URLs dynamiques.
Les pages à faible valeur ajoutée — résultats de filtres, URLs de session, doublons — gaspillent ce budget et retardent l'indexation de vos pages prioritaires.
Sur les grands sites e-commerce, entre 20 et 60 % des URLs crawlées peuvent être des variantes à faible valeur qui consomment inutilement le budget de crawl.
Diagnostiquer les problèmes d'indexation
Le rapport « Couverture » (désormais « Indexation des pages ») dans Search Console est votre premier outil. Il distingue les pages indexées, exclues et en erreur, avec la raison précise pour chaque catégorie.
Utilisez l'outil d'inspection d'URL pour tester une page spécifique : Google vous indique si elle est indexée, la date du dernier crawl et les éventuels problèmes détectés.
- Erreur 404 ou 5xx : la page est inaccessible au moment du crawl.
- Bloquée par robots.txt : Googlebot est interdit d'accès.
- Balise noindex présente : vous avez explicitement demandé l'exclusion.
- Page dupliquée, Google a choisi une URL canonique différente.
- Découverte impossible : aucun lien interne ne pointe vers la page.
Accélérer l'indexation de vos nouvelles pages
Soumettez vos nouvelles URLs via l'outil d'inspection d'URL de Search Console ou via l'API Indexing (réservée aux offres d'emploi et podcasts en théorie, mais souvent utilisée pour d'autres contenus).
La méthode la plus fiable reste de construire des liens internes depuis vos pages déjà bien indexées vers vos nouvelles URLs : Googlebot les découvrira naturellement lors du prochain crawl.
Questions fréquentes
Pourquoi ma page n'apparaît pas dans Google malgré une soumission sitemap ?
Le sitemap indique à Google que la page existe, mais n'oblige pas l'indexation. Google évalue la qualité, l'unicité et la pertinence avant d'indexer. Vérifiez qu'aucun noindex n'est présent et que la page offre un contenu substantiel.
Une page bloquée dans robots.txt peut-elle apparaître dans les résultats ?
Oui, si d'autres sites pointent vers elle. Google peut afficher l'URL sans avoir pu la crawlter, ce qui signifie qu'aucun extrait n'est affiché. Pour exclure totalement une page, combinez robots.txt et balise noindex, ou utilisez uniquement noindex.
Quel est le délai normal entre publication et indexation ?
Pour un site bien établi, de quelques heures à 48 heures pour les pages liées depuis la page d'accueil. Pour un site récent ou une page orpheline, cela peut prendre plusieurs semaines.
Envie d'appliquer tout ça à votre site ?
Réservez un audit offert — sans engagement.