Zum Inhalt springen
SEO Tools
Hilfe und Dokumentation
SEO Kritische Auswirkung Mittel 10–20 Min.

Robots (Indexierung und robots.txt)

Steuert, was Suchmaschinen crawlen und indexieren dürfen.

Was es ist

Die Indexierung steuern zwei Dinge: die Datei robots.txt (was gecrawlt werden darf) und der Meta-Robots / Header X-Robots-Tag (ob eine Seite indexiert wird, z. B. noindex). Sie werden leicht verwechselt.

Warum es wichtig ist

Eine falsche Einstellung ist einer der verheerendsten SEO-Fehler: ein versehentlich belassenes „noindex“ oder „Disallow: /“ kann die ganze Website aus Google werfen. Umgekehrt lassen fehlende Regeln unnötige Seiten (Warenkorb, Filter) indexieren und verschwenden Crawl-Budget.

So geht's

  1. 1Prüfe, dass Produktivseiten KEIN noindex haben (häufiger Überrest aus Entwicklung/Test-Website).
  2. 2Blockiere in der robots.txt weder CSS/JS noch Seiten, die du indexieren willst.
  3. 3Blockiere nur, was nicht im Index sein soll (Admin, Warenkorb, interne Suche).
  4. 4Gib den Link zur Sitemap in der robots.txt an.
  5. 5Denke daran: robots.txt verhindert das Crawlen, aber nicht zwingend die Indexierung: für die Entfernung aus dem Index dient Meta noindex.

robots.txt

Falsch
User-agent: *
Disallow: /        ← blockiert die GANZE Website
Richtig
User-agent: *
Disallow: /admin/
Disallow: /warenkorb/
Allow: /

Sitemap: https://www.example.de/sitemap.xml

Fazit

Die Indexierung ist der „Hauptschalter“ der Sichtbarkeit, deshalb gehört sie zu den kritischen Prüfungen. Stelle nach jedem Deployment sicher, dass nirgends ein noindex aus der Testumgebung verblieben ist und dass die robots.txt nichts Wichtiges blockiert. Ein Fehler hier kann den gesamten organischen Traffic kosten.

Verwandte Themen