Google-Indexierung: Crawling, Budget und Entsperrung
7 min
Google indexiert Ihre Seiten in drei Schritten: Entdeckung, Crawling und Indexierung. Ein schlecht verwaltetes Crawl-Budget lässt Ihre wichtigsten Seiten außerhalb des Index. Prüfen Sie zuerst die Abdeckung in der Search Console und eliminieren Sie dann parasitäre URLs, die Ihr Kontingent verschwenden.
Eine nicht indexierte Seite ist eine unsichtbare Seite. Dennoch leiden viele Websites unter stillen Indexierungsproblemen, die ihre Betreiber nie entdecken. Hier ist die Methode zur Diagnose und Behebung dieser Blockierungen.
Wie Google Ihre Seiten entdeckt und indexiert
Googlebot beginnt bei bereits bekannten Seiten und folgt Links, um neue zu entdecken. Er liest dann den Inhalt, rendert JavaScript falls nötig und übergibt die Seite an den Index — ein Prozess, der einige Stunden bis mehrere Wochen dauern kann.
Indexierung ist nicht garantiert: Google entscheidet souverän, welche Seiten es wert sind, indexiert zu werden, basierend auf ihrer Qualität, Einzigartigkeit und der Autorität der Website.
Crawl-Budget: Was es ist und wann es kritisch wird
Das Crawl-Budget entspricht der Anzahl an Seiten, die Googlebot bereit ist, auf Ihrer Website innerhalb eines bestimmten Zeitraums zu crawlen. Es ist begrenzt, um Ihren Server nicht zu überlasten.
Für die Mehrheit der Websites mit weniger als 1.000 Seiten ist das Crawl-Budget kein Problem. Es wird kritisch bei großen E-Commerce-Websites, Websites mit Facettennavigation oder Plattformen, die Tausende dynamischer URLs generieren.
Seiten mit geringem Mehrwert — Filterergebnisse, Session-URLs, Duplikate — verschwenden dieses Budget und verzögern die Indexierung Ihrer prioritären Seiten.
Auf großen E-Commerce-Websites können zwischen 20 und 60 % der gecrawlten URLs Varianten mit geringem Wert sein, die das Crawl-Budget unnötig verbrauchen.
Branchenstudien 2025-2026 zu SEO-Architekturen im E-Commerce
Indexierungsprobleme diagnostizieren
Der Bericht „Abdeckung“ (jetzt „Seitenindexierung“) in der Search Console ist Ihr erstes Werkzeug. Er unterscheidet zwischen indexierten, ausgeschlossenen und fehlerhaften Seiten mit dem genauen Grund für jede Kategorie.
Verwenden Sie das URL-Inspektionstool, um eine bestimmte Seite zu testen: Google teilt Ihnen mit, ob sie indexiert ist, das Datum des letzten Crawls und eventuelle erkannte Probleme.
- 404- oder 5xx-Fehler: Die Seite ist zum Zeitpunkt des Crawls nicht erreichbar.
- Von robots.txt gesperrt: Googlebot hat keinen Zugriff.
- Noindex-Tag vorhanden: Sie haben den Ausschluss ausdrücklich beantragt.
- Duplizierte Seite, Google hat eine andere kanonische URL gewählt.
- Nicht entdeckbar: Kein interner Link zeigt auf die Seite.
Indexierung neuer Seiten beschleunigen
Übermitteln Sie neue URLs über das URL-Inspektionstool der Search Console oder über die Indexing API (theoretisch reserviert für Stellenangebote und Podcasts, aber oft für andere Inhalte genutzt).
Die zuverlässigste Methode bleibt, interne Links von Ihren bereits gut indexierten Seiten zu Ihren neuen URLs aufzubauen: Googlebot wird sie beim nächsten Crawl auf natürliche Weise entdecken.
FAQ
Warum erscheint meine Seite nicht bei Google, obwohl ich eine Sitemap eingereicht habe?
Die Sitemap teilt Google mit, dass die Seite existiert, erzwingt aber keine Indexierung. Google bewertet Qualität, Einzigartigkeit und Relevanz bevor indexiert wird. Prüfen Sie, ob kein Noindex-Tag vorhanden ist und ob die Seite substanziellen Inhalt bietet.
Kann eine in robots.txt gesperrte Seite in den Ergebnissen erscheinen?
Ja, wenn andere Websites darauf verlinken. Google kann die URL anzeigen, ohne sie gecrawlt zu haben, was bedeutet, dass kein Auszug angezeigt wird. Um eine Seite vollständig auszuschließen, kombinieren Sie robots.txt und Noindex-Tag, oder verwenden Sie nur Noindex.
Wie lange dauert es normalerweise zwischen Veröffentlichung und Indexierung?
Für eine etablierte Website wenige Stunden bis 48 Stunden für Seiten, die von der Startseite aus verlinkt sind. Für eine neue Website oder eine verwaiste Seite kann es mehrere Wochen dauern.