Robots.txt-controle
Voer de URL van uw website in en ontdek meteen of uw robots.txt correct is geconfigureerd en zoekmachines er niet van weerhoudt uw belangrijkste pagina's te crawlen.
Wat de tool controleert
- Bestaan en toegankelijkheid van het robots.txt-bestand
- Regels voor toestaan/niet toestaan en welke secties zijn geblokkeerd
- Toegangsrechten voor grote crawlers (Googlebot, Bingbot en anderen)
- XML-sitemapreferentie in robots.txt
- Veelgemaakte fouten: per ongeluk de hele site of CSS/JS-bestanden blokkeren
Waarom het belangrijk is
Robots.txt is het eerste bestand dat een zoekmachine ophaalt wanneer deze uw site bezoekt. Eén slechte regel – ‘Disallow: /’ – kan uw hele site van de ene op de andere dag uit de index wissen. Het ontbreken van een sitemapverwijzing vertraagt de ontdekking van nieuwe pagina's. Als u robots.txt goed gebruikt, beschermt u uw crawlbudget en houdt u bots gefocust op de pagina's die er toe doen.
Gedetailleerde gids in het helpcentrumVeelgestelde vragen
Wat is robots.txt?
Een tekstbestand in de hoofdmap van uw website (bijvoorbeeld voorbeeld.com/robots.txt) dat de crawlers van zoekmachines vertelt welke delen van uw site ze wel of niet mogen bezoeken.
Kan robots.txt ervoor zorgen dat mijn site door Google wordt gedeïndexeerd?
Ja. Een regel 'Disallow: /' blokkeert het crawlen van uw hele site. Pagina's die niet kunnen worden gecrawld, verdwijnen doorgaans uit de index of worden niet meer bijgewerkt.
Moet robots.txt een sitemap bevatten?
Het is niet verplicht, maar wel sterk aanbevolen. Door 'Sitemap: https://example.com/sitemap.xml" toe te voegen, kunnen zoekmachines al uw pagina's sneller ontdekken.
Beoordeel dit hulpmiddel
Gerelateerde tools
Wil je een volledige SEO + GEO-analyse van je website?
Voer alle 20 controles in één keer uit, volg posities op Google en Seznam en krijg verbetersuggesties.
Volledige analyse uitvoeren