Meta Robots Tags: So steuern Sie Crawler richtig

Meta Robots Tags gehören zu den wichtigsten Steuerungselementen im technischen SEO. Sie entscheiden darüber, welche Seiten in den Suchindex gelangen und welche Links Crawler verfolgen dürfen. Fehler bei der Konfiguration können dazu führen, dass wichtige Inhalte unsichtbar bleiben oder unwichtige Seiten Crawl-Budget verschwenden.

Diese Anleitung zeigt Ihnen, wie Meta Robots Angaben funktionieren, wo sie platziert werden und welche Kombinationen Sie für verschiedene Seitentypen einsetzen sollten.

Was sind Meta Robots Tags?

Meta Robots Tags sind Anweisungen an Suchmaschinen-Crawler. Sie werden entweder im HTML-Kopfbereich einer Seite oder im HTTP-Header hinterlegt. Ihre Aufgabe: Crawlern mitteilen, ob eine URL indexiert werden darf und ob sie den auf der Seite vorhandenen Links folgen dürfen.

Jede URL kann individuell gesteuert werden. Das macht Meta Robots Tags zu einem präzisen Werkzeug für die OnPage-Optimierung – vorausgesetzt, Sie setzen sie bewusst ein.

Wo werden Meta Robots Tags platziert?

Es gibt zwei mögliche Positionen:

Im HTML-Head: Der Tag wird innerhalb des <head>-Bereichs eingefügt. Das ist die gängigste Methode und funktioniert für klassische HTML-Seiten.

Im HTTP-Header: Alternativ kann die Anweisung über den Server-Response-Header übermittelt werden. Das ist vor allem bei Dateitypen wie PDFs sinnvoll, die keinen HTML-Kopf besitzen.

Die meisten CMS setzen Meta Robots Tags automatisch oder bieten Eingabefelder dafür an. Prüfen sollten Sie trotzdem – manuelle Fehler sind häufig.

Die vier wichtigsten Meta Robots Direktiven

Es gibt vier Grunddirektiven, die Sie kennen müssen:

index: Die Seite darf in den Suchindex aufgenommen werden. Das ist die Standardeinstellung – Sie müssen sie nicht explizit setzen.
noindex: Die Seite soll nicht indexiert werden. Sie erscheint nicht in den Suchergebnissen. Diese Direktive muss aktiv gesetzt werden.
follow: Crawler dürfen den Links auf der Seite folgen und die verlinkten Ziele crawlen. Auch das ist Standard und muss nicht angegeben werden.
nofollow: Crawler dürfen den Links nicht folgen. Die verlinkten URLs werden nicht über diese Seite entdeckt oder gecrawlt. Muss aktiv gesetzt werden.

Wichtig: index und follow sind Standardwerte. Wenn Sie keine Meta Robots Angabe machen, verhalten sich Crawler so, als wären diese beiden Direktiven gesetzt. Sie müssen also nur dann eingreifen, wenn Sie vom Standard abweichen wollen.

Gängige Kombinationen von Meta Robots Tags

Aus den vier Direktiven ergeben sich vier häufig genutzte Kombinationen. Jede hat einen klaren Einsatzzweck.

Meta Robots TagBedeutungWann einsetzen?`<meta name="robots" content="index, follow">`URL indexieren, Links folgenNicht nötig – ist Standard. Nur zur Verdeutlichung im Code.`<meta name="robots" content="noindex, follow">`URL nicht indexieren, Links folgenFilterseiten, Danke-Seiten, Zwischenseiten ohne Suchrelevanz – aber mit wertvollen internen Links.`<meta name="robots" content="index, nofollow">`URL indexieren, Links nicht folgenSelten sinnvoll. Nur wenn die Seite ranken soll, aber Links nicht weitergegeben werden dürfen (z. B. Gästebücher).`<meta name="robots" content="noindex, nofollow">`URL nicht indexieren, Links nicht folgenLogin-Bereiche, Warenkorb, Checkout-Prozesse, interne Suchseiten.

Wann Sie „noindex, follow” nutzen sollten

Diese Kombination ist häufiger nützlich, als viele vermuten. Sie sorgt dafür, dass eine Seite nicht im Index landet, aber trotzdem als Bindeglied im internen Linkgefüge funktioniert.

Typische Anwendungsfälle:

Filterergebnisse in Onlineshops (z. B. „Schuhe Größe 42 rot”)
Paginierungsseiten (Seite 2, 3, 4 …)
Danke-Seiten nach Formularversand
Zwischenseiten in mehrstufigen Prozessen

Der Vorteil: Crawler können weiterhin wichtige URLs über diese Seiten erreichen, ohne dass doppelte oder irrelevante Inhalte den Index belasten.

Wann Sie „noindex, nofollow” einsetzen sollten

Diese Kombination blockiert sowohl die Indexierung als auch das Crawlen von Links. Sie ist gedacht für Bereiche, die weder im Index erscheinen sollen noch Crawl-Budget verbrauchen dürfen.

Beispiele:

Login- und Registrierungsseiten
Warenkörbe und Checkout-Seiten
Interne Suchergebnisseiten
Admin-Bereiche
Testumgebungen oder Staging-Seiten

Hier geht es darum, technische Seiten vollständig aus dem Suchmaschinen-Radar zu nehmen.

Häufige Fehler bei Meta Robots Tags

Meta Robots Tags sind einfach – trotzdem passieren immer wieder dieselben Fehler.

1. Wichtige Seiten auf „noindex” gesetzt

Klassischer Fall: Eine Kategorie- oder Produktseite ist versehentlich auf noindex gestellt. Die Seite verschwindet aus dem Index, Rankings gehen verloren. Das passiert oft nach Relaunches oder durch fehlerhafte Template-Einstellungen.

Lösung: Prüfen Sie regelmäßig, welche Seiten auf noindex stehen – zum Beispiel über die Google Search Console oder Crawling-Tools wie Screaming Frog.

2. „noindex” und „disallow” kombiniert

Wenn eine URL per robots.txt blockiert ist (Disallow), kann Google den Meta Robots Tag im HTML nicht auslesen. Das führt dazu, dass die Seite trotz noindex im Index bleiben kann – meist nur mit URL, ohne Snippet.

Lösung: Setzen Sie noindex nur bei URLs, die nicht per robots.txt blockiert sind. Oder nutzen Sie ausschließlich die robots.txt, wenn Sie URLs komplett vom Crawling ausschließen wollen.

3. Zu viele Seiten auf „noindex, follow”

„Noindex, follow” ist praktisch – aber nicht für jeden Filterfall sinnvoll. Zu viele noindexierte Seiten mit internen Links können das Crawl-Budget unnötig belasten, ohne dass sie echten Mehrwert bringen.

Lösung: Setzen Sie noindex, follow gezielt ein – nicht flächendeckend. Prüfen Sie, ob Seiten wirklich als Linkbrücke benötigt werden.

So prüfen Sie Ihre Meta Robots Einstellungen

Es gibt mehrere Möglichkeiten, Ihre Meta Robots Tags zu überprüfen:

Im Quellcode: Rechtsklick → „Seitenquelltext anzeigen” → nach <meta name="robots" suchen.
Mit Browser-Plugins: SEO-Erweiterungen wie „SEO Meta in 1 Click” zeigen Meta Robots Tags direkt an.
Mit Crawling-Tools: Screaming Frog, Sitebulb oder Ryte crawlen Ihre Website und listen alle Meta Robots Tags übersichtlich auf.
In der Google Search Console: Unter „Indexierung → Seiten” sehen Sie, welche URLs nicht indexiert wurden – oft mit Hinweis auf noindex.

Meta Robots vs. X-Robots-Tag

Neben dem klassischen Meta Tag im HTML gibt es noch den X-Robots-Tag, der im HTTP-Header gesetzt wird. Er funktioniert identisch, hat aber einen entscheidenden Vorteil: Er kann auch für Nicht-HTML-Dateien wie PDFs, Bilder oder Office-Dokumente genutzt werden.

Beispiel für einen HTTP-Header:

X-Robots-Tag: noindex, nofollow

Das ist vor allem dann relevant, wenn Sie downloadbare Dateien vom Index ausschließen wollen, ohne sie per robots.txt zu blockieren.

Fazit: Meta Robots Tags gezielt einsetzen

Meta Robots Tags sind ein einfaches, aber mächtiges Werkzeug. Sie entscheiden darüber, welche Inhalte sichtbar werden und welche im Hintergrund bleiben. Richtig eingesetzt, verhindern sie Indexierungsfehler, schonen Crawl-Budget und sorgen dafür, dass nur relevante Seiten in den Suchergebnissen auftauchen.

Die wichtigsten Punkte:

index, follow ist Standard – Sie müssen nichts tun, wenn Sie genau das wollen.
noindex, follow eignet sich für Seiten, die Links weitergeben, aber selbst nicht ranken sollen.
noindex, nofollow blockiert Seiten vollständig – ideal für Login-Bereiche und technische Seiten.
Kombinieren Sie nie noindex mit Disallow in der robots.txt – sonst kann Google den Tag nicht lesen.
Prüfen Sie regelmäßig, welche Seiten auf noindex stehen – vor allem nach Relaunches oder Template-Änderungen.

Wenn Sie unsicher sind, welche Einstellung für welche Seite richtig ist: Crawlen Sie Ihre Website, analysieren Sie die Ergebnisse und korrigieren Sie gezielt. Meta Robots Tags sind kein einmaliges Setup – sie gehören zur laufenden OnPage-Pflege.

Meta Robots Tags richtig einsetzen