Über die Robots-Meta-Tags
Die Robots-Meta-Tags befinden sich im HTML-Code oder HTTP-Header jeder URL. Sie teilen Suchmaschinen-Crawlern mit, ob die jeweilige URL indexiert (ein Suchergebnis sein) werden kann oder nicht. Sie sagen den Crawlern auch, ob sie Links ‚folgen‘ dürfen. Einem Link zu folgen bedeutet, dass die Crawler sich den Inhalt der verlinkten URL ansehen dürfen.
Die Robots-Meta-Tags werden individuell gesetzt, basierend auf dem Zweck (d.h. indexieren und Links folgen) dieser spezifischen Seite.
Es gibt vier verschiedene robots meta Direktiven:
- index: Die URL kann von Suchmaschinen indexiert werden. Es ist ein Standard-Tag und muss nicht hinzugefügt werden.
- noindex: Die URL soll nicht von Suchmaschinen indexiert werden. Diese Direktive muss hinzugefügt werden.
- follow: Crawler dürfen Links auf dieser URL folgen. Es ist ein Standard-Tag und muss nicht hinzugefügt werden.
- nofollow: Crawler dürfen Links auf dieser URL nicht folgen. Diese Directive muss hinzugefügt werden.
Basierend auf diesen Directives gibt es vier verschiedene Kombinationen, die häufig verwendet werden und nicht im Widerspruch stehen.
Gängige Robots-Meta-Tags
- <meta name=“robots“ content=“index, follow“ />:URL indexieren, Links folgen. Beides sind Standard- Directives, dieser Tag muss nicht hinzugefügt werden.
- <meta name=“robots“ content=“noindex, follow“ />: URL nicht indexieren, Links folgen.
- <meta name=“robots“ content=“index, nofollow“ />: URL indexieren, Links nicht folgen.
- <meta name=“robots“ content=“noindex, nofollow“ />: URL nicht indexieren, Links nicht folgen.
Link: Zurück zur Übersicht.