URL Scheduler

Was ist der URL Scheduler?

Wenn Sie sich fragen, warum manche Ihrer Seiten innerhalb von Minuten neu gecrawlt werden und andere wochenlang warten, liegt die Antwort beim URL Scheduler. Sie können sein Verhalten positiv beeinflussen: durch eine aktuelle XML-Sitemap, schnelle Server-Antwortzeiten und das Vermeiden unnötiger URL-Varianten. Besonders nach Content-Updates hilft ein korrekt gepflegtes lastmod-Datum, die Neuindexierung zu beschleunigen.

Der URL Scheduler ist eine zentrale Komponente in Googles Crawling-Infrastruktur. Er verwaltet eine Warteschlange aller bekannten URLs und entscheidet auf Basis verschiedener Signale, welche Seiten als Nächstes gecrawlt werden sollen. Dabei berücksichtigt er den Crawl Score, die Serverkapazität der Ziel-Website, die letzte Crawl-Zeit und die erwartete Änderungswahrscheinlichkeit einer Seite.

Für die technische SEO ist das Verständnis des URL Schedulers wichtig, weil er erklärt, warum manche Seiten innerhalb von Minuten neu gecrawlt werden, während andere wochen- oder monatelang auf ein Update warten. Nachrichtenseiten mit hoher Aktualisierungsfrequenz erhalten kürzere Crawl-Intervalle als statische Unternehmensseiten. Sie können das Scheduling positiv beeinflussen, indem Sie Ihre XML-Sitemap aktuell halten und das lastmod-Datum nur bei echten Änderungen aktualisieren.

Der URL Scheduler arbeitet ressourcenschonend und respektiert die Serverkapazität. Wenn Ihre Website langsam antwortet, reduziert er automatisch die Crawl-Frequenz. Deshalb ist eine gute Server-Performance ein indirekter Hebel für häufigeres Crawling. Kombiniert mit einer sauberen Crawl-Budget-Strategie sorgen Sie dafür, dass Google Ihre wichtigsten Inhalte zeitnah erfasst.