Crawl-Budget-Verschwendung beheben

Was Crawl-Budget bedeutet – und wann es zum Problem wird

Das Crawl-Budget beschreibt, wie viele Seiten Ihrer Website Google innerhalb eines bestimmten Zeitraums besucht und verarbeitet. Jede Website bekommt ein begrenztes Kontingent. Bei einer kleinen Website mit 50 Seiten spielt das keine Rolle – Google schafft das problemlos. Bei Websites mit 10.000 oder mehr URLs wird es kritisch: Wenn Google sein Budget für unwichtige Seiten verbraucht, werden Ihre relevanten Inhalte seltener oder gar nicht gecrawlt.

Besonders betroffen sind:

• Online-Shops mit facettierter Navigation und Tausenden Filterkombinationen
• Portale und Verzeichnisse mit dynamisch generierten Seiten
• Große Blogs und Magazine mit umfangreichen Archiven und Tag-Seiten
• Websites nach Relaunch mit vielen alten URL-Strukturen

Auch kleinere Websites können betroffen sein, wenn sie durch technische Fehler unnötig viele URLs erzeugen – etwa durch Session-IDs, Parameter-URLs oder eine aufgeblähte Sitemap.

Crawl Rate Limit vs. Crawl Demand

Google steuert das Crawling über zwei Faktoren:

Crawl Rate Limit: Die maximale Anzahl gleichzeitiger Anfragen, die Google an Ihren Server stellt, ohne ihn zu überlasten. Ist Ihr Server langsam oder antwortet mit Fehlern, reduziert Google die Crawl-Rate automatisch.

Crawl Demand: Wie stark Google Ihre Inhalte crawlen möchte. Seiten, die sich häufig ändern oder viele Backlinks haben, werden öfter besucht. Seiten, die seit Jahren unverändert sind, seltener.

Das effektive Crawl-Budget ergibt sich aus beiden Faktoren. Sie können es beeinflussen, indem Sie Ihren Server schnell halten (Crawl Rate) und Google gezielt auf Ihre wichtigen Seiten lenken (Crawl Demand).

So erkennen Sie Crawl-Budget-Probleme

Google Search Console: Crawling-Statistiken

Unter „Einstellungen > Crawling-Statistiken” finden Sie drei zentrale Informationen:

• Gesamtzahl der Crawling-Anfragen pro Tag: Sinkt die Zahl plötzlich, stimmt etwas nicht
• Durchschnittliche Antwortzeit: Werte über 500 ms deuten auf Serverprobleme hin
• Crawling-Anfragen nach Antworttyp: Zeigt, wie viele Anfragen auf 200er, 301er, 404er oder 500er Statuscodes treffen

Wenn Google einen großen Anteil seiner Anfragen für Weiterleitungen, Fehlerseiten oder nicht-kanonische URLs verwendet, wird Ihr Budget verschwendet.

Server-Log-Analyse

Die Search Console zeigt nur einen Teil der Wahrheit. Für eine vollständige Analyse brauchen Sie Ihre Server-Logfiles. Dort sehen Sie exakt, welche URLs der Googlebot besucht hat, wann und wie oft.

Tools wie der Screaming Frog Log File Analyser oder JetOctopus helfen dabei, Logfiles auszuwerten und Muster zu erkennen. Typische Erkenntnisse: Google besucht alte Kategorie-Seiten hundertfach, während neue Produktseiten ignoriert werden.

Indexierungsverzögerungen

Ein indirektes Signal: Wenn neue oder aktualisierte Inhalte erst nach Wochen im Index erscheinen, obwohl die Seiten technisch einwandfrei sind, kann ein Crawl-Budget-Problem die Ursache sein. Prüfen Sie über die URL-Prüfung in der Search Console, wann Google die Seite zuletzt gecrawlt hat.

Typische Ursachen für Crawl-Budget-Verschwendung

Parameter-URLs

Filterseiten, Sortieroptionen und Tracking-Parameter erzeugen oft Tausende irrelevanter URLs. Aus einer Produktseite werden plötzlich dutzende Varianten:

• /produkt?farbe=rot
• /produkt?farbe=rot&groesse=xl
• /produkt?utm_source=newsletter&utm_medium=email
• /produkt?sessionid=abc123

Jede dieser URLs ist für Google eine eigene Seite – mit identischem oder nahezu identischem Inhalt.

Facettierte Navigation in Online-Shops

Das größte Crawl-Budget-Problem im E-Commerce. Ein Shop mit 500 Produkten, 10 Filteroptionen und jeweils 5 Ausprägungen kann theoretisch Millionen von URL-Kombinationen erzeugen. Google versucht, alle zu crawlen – und kommt nie bei den wichtigen Seiten an.

Soft-404-Fehler

Seiten, die visuell eine Fehlermeldung zeigen („Keine Ergebnisse gefunden”), aber den HTTP-Statuscode 200 zurückgeben. Google erkennt diese als echte Seiten und crawlt sie weiter. Besonders häufig bei leeren Kategorieseiten, abgelaufenen Angeboten oder internen Suchergebnisseiten ohne Treffer.

Weiterleitungsketten

Wenn URL A auf B weiterleitet, B auf C und C auf D, verbraucht jeder Schritt Crawl-Budget. Bei hunderten solcher Ketten summiert sich das erheblich. Häufig nach mehreren Relaunches oder CMS-Wechseln zu beobachten.

Aufgeblähte XML-Sitemaps

Ihre Sitemap sollte nur indexierbare, kanonische URLs enthalten. In der Praxis finde ich regelmäßig Sitemaps mit Weiterleitungen, 404-Seiten, noindex-URLs oder nicht-kanonischen Varianten. Das signalisiert Google: „Bitte crawle all diese Seiten” – obwohl die meisten davon irrelevant sind.

Weitere häufige Ursachen

• Interne Suchseiten: Jede Suchanfrage erzeugt eine neue URL, die Google entdecken und crawlen kann
• Tag- und Kategorie-Archive: Vor allem in WordPress entstehen oft hunderte dünne Archivseiten
• Session-IDs in URLs: Jeder Besuch erzeugt eine neue URL mit identischem Inhalt
• Druckversionen und AMP-Duplikate: Separate URLs für Print-Ansichten ohne korrekte Canonical-Tags
• Kalender-Seiten: Endlos klickbare Monats- und Jahresansichten

So optimieren Sie Ihr Crawl-Budget: Schritt für Schritt

Schritt 1: robots.txt bereinigen

Schließen Sie SEO-irrelevante Bereiche vom Crawling aus:

User-agent: *
Disallow: /suche/
Disallow: /intern/
Disallow: /warenkorb/
Disallow: /konto/
Disallow: /*?sessionid=
Disallow: /*?sort=

Wichtig: robots.txt verhindert das Crawling, nicht die Indexierung. Seiten, die von externen Links gefunden werden, können trotz Disallow im Index landen. Für eine sichere Entfernung aus dem Index brauchen Sie zusätzlich ein noindex-Tag.

Schritt 2: Soft-404-Fehler beheben

Prüfen Sie die Search Console unter „Seiten” auf gemeldete Soft-404-Fehler. Geben Sie für leere oder irrelevante Seiten echte 404- oder 410-Statuscodes zurück. Bei Seiten mit wenig Inhalt: Entweder mit relevantem Content anreichern oder per 301 auf eine passende Seite weiterleiten.

Schritt 3: Weiterleitungsketten auflösen

Analysieren Sie alle 301-Weiterleitungen mit einem Crawling-Tool wie Screaming Frog. Jede Kette, die über mehr als einen Schritt geht, sollte auf eine direkte Weiterleitung zum endgültigen Ziel umgestellt werden. A leitet direkt auf D – fertig.

Schritt 4: XML-Sitemap aufräumen

Entfernen Sie aus Ihrer Sitemap:

• URLs mit 3xx-Statuscodes (Weiterleitungen)
• URLs mit 4xx-Statuscodes (Fehlerseiten)
• URLs mit noindex-Tag
• Nicht-kanonische URLs
• Parameter-URLs

Ihre Sitemap sollte ausschließlich Seiten enthalten, die indexiert werden sollen und den Statuscode 200 zurückgeben.

Schritt 5: Canonical Tags konsequent setzen

Alle Parameter-Varianten und URL-Duplikate brauchen einen Canonical Tag, der auf die kanonische Version verweist. So signalisieren Sie Google klar, welche URL die relevante ist – selbst wenn die Duplikate noch gecrawlt werden.

Schritt 6: Irrelevante Seiten auf noindex setzen

Seiten wie Tag-Archive, Autorenarchive, interne Suchseiten oder dünne Kategorie-Seiten gehören auf noindex, follow. So bleiben die internen Links erhalten, aber Google verschwendet kein Budget für die Indexierung.

Schritt 7: Interne Verlinkung optimieren

Lenken Sie Ihre interne Verlinkung gezielt auf Ihre wichtigsten Seiten. Jede Seite, die Sie ranken möchten, sollte von mehreren anderen Seiten verlinkt werden. Unwichtige Seiten brauchen keine prominenten internen Links.

Online-Shops: Facettierte Navigation richtig handhaben

Für Shops mit Filternavigation empfehle ich einen dreistufigen Ansatz:

1. Indexierbare Filterseiten definieren: Nur Filterkombinationen mit eigenem Suchvolumen sollten indexierbar sein (z.B. „Laufschuhe Herren Größe 43”). Alle anderen erhalten ein noindex-Tag.

2. AJAX-basierte Filter verwenden: Wenn möglich, laden Sie Filterergebnisse per AJAX, ohne die URL zu ändern. So entstehen gar keine zusätzlichen URLs.

3. Canonical Tags auf die Hauptkategorie: Alle Filterkombinationen ohne eigenes Suchvolumen verweisen per Canonical auf die übergeordnete Kategorieseite.

Monitoring einrichten

Crawl-Budget-Optimierung ist keine einmalige Maßnahme. Richten Sie ein regelmäßiges Monitoring ein:

• Monatlich: Crawling-Statistiken in der Search Console prüfen
• Nach jedem Relaunch: Server-Logfiles auf unerwartete Crawling-Muster analysieren
• Quartalsweise: Vollständigen Crawl mit Screaming Frog durchführen und gegen die Sitemap abgleichen
• Laufend: Indexierungsberichte in der Search Console beobachten – steigt die Zahl der indexierten Seiten oder stagniert sie?

Checkliste: Crawl-Budget-Optimierung

• Crawling-Statistiken in der Search Console analysiert
• Server-Logfiles auf Googlebot-Aktivität ausgewertet
• Parameter-URLs per robots.txt oder Canonical Tags behandelt
• Facettierte Navigation mit noindex oder AJAX gesteuert
• Soft-404-Fehler durch echte 404/410-Statuscodes ersetzt
• Weiterleitungsketten auf maximal einen Schritt reduziert
• XML-Sitemap enthält nur indexierbare 200er-URLs
• Interne Suchseiten vom Crawling ausgeschlossen
• Tag- und Kategorie-Archive auf noindex gesetzt
• Interne Verlinkung auf wichtige Seiten fokussiert
• Monitoring-Routine etabliert (monatlich/quartalsweise)

Wann professionelle Hilfe sinnvoll ist

Crawl-Budget-Optimierung erfordert eine Gesamtbetrachtung Ihrer Website-Architektur. Besonders bei Online-Shops mit facettierter Navigation, Portalen mit dynamisch generierten Seiten oder Websites nach einem Relaunch sind die Zusammenhänge zu komplex für einfache Lösungen. Falsche Einstellungen in der robots.txt oder unkontrolliertes Setzen von noindex können mehr Schaden anrichten als das ursprüngliche Problem.

In meiner Arbeit als SEO-Freelancer analysiere ich regelmäßig Crawl-Budget-Probleme – von kleinen Unternehmenswebsites bis zu großen Online-Shops. Die Kombination aus Search-Console-Daten, Server-Logfiles und einem technischen Crawl liefert ein vollständiges Bild.

Google crawlt die falschen Seiten Ihrer Website? Kontaktieren Sie mich für eine technische Analyse – ich finde die Ursachen und setze die Optimierungen um.