robots.txt prüfen
Geben Sie Ihre Website-URL ein und erfahren Sie sofort, ob Ihre robots.txt korrekt konfiguriert ist und wichtige Seiten nicht versehentlich für Suchmaschinen sperrt.
Was das Tool prüft
- Existenz und Erreichbarkeit der robots.txt-Datei
- Allow- und Disallow-Regeln — welche Bereiche für Crawler gesperrt sind
- Zugriff der wichtigsten Bots (Googlebot, Bingbot und weitere)
- Sitemap-Verweis innerhalb der robots.txt
- Häufige Fehler — versehentlich gesperrte gesamte Website oder CSS/JS-Dateien
Warum es wichtig ist
Die robots.txt ist die erste Datei, die Suchmaschinen beim Crawlen einer Website abrufen. Eine einzige falsche Regel — "Disallow: /" — kann die gesamte Website aus dem Index entfernen. Ein fehlender Sitemap-Verweis verlangsamt die Entdeckung neuer Seiten. Korrekte Einstellungen schonen das Crawl-Budget und lenken Bots dorthin, wo sie hingehören.
Ausführliche Anleitung im HilfecenterHäufige Fragen
Was ist eine robots.txt?
Eine Textdatei im Stammverzeichnis einer Website (z. B. example.com/robots.txt), die Suchmaschinen-Crawlern mitteilt, welche Bereiche der Website sie besuchen dürfen und welche nicht.
Kann robots.txt meine Website aus Google entfernen?
Ja. Die Regel "Disallow: /" verbietet das Crawlen der gesamten Website. Betroffene Seiten verschwinden in der Regel aus dem Index oder werden nicht mehr aktualisiert.
Muss die robots.txt einen Sitemap-Hinweis enthalten?
Es ist keine Pflicht, aber dringend empfohlen. Die Zeile "Sitemap: https://example.com/sitemap.xml" hilft Suchmaschinen, alle Seiten schneller zu finden.
Bewerten Sie dieses Tool
Verwandte Tools
Möchten Sie eine komplette SEO- & GEO-Analyse Ihrer Website?
Führen Sie alle 20 Prüfungen auf einmal durch, verfolgen Sie Rankings bei Google und Seznam und erhalten Sie Verbesserungsvorschläge.
Komplette Analyse starten