Verbinding mislukt. Probeer het opnieuw.

Naar inhoud springen
SEO Tools
Help en documentatie
SEO Kritieke impact Gemiddeld 10–20 minuten

Robots (indexering en robots.txt)

Bepaalt welke zoekmachines mogen crawlen en indexeren.

Wat het is

Het indexeren wordt bepaald door twee dingen: het robots.txt-bestand (wat mag worden gecrawld) en de meta-robots / X-Robots-Tag-header (of een pagina moet worden geïndexeerd, bijvoorbeeld noindex). Ze zijn gemakkelijk in de war.

Waarom het belangrijk is

Verkeerde configuratie is een van de meest destructieve SEO-fouten: een per ongeluk overgebleven 'noindex' of 'Disallow: /' kan de hele site uit Google verwijderen. Omgekeerd zorgen ontbrekende regels ervoor dat nutteloze pagina's (winkelwagentje, filters) worden geïndexeerd, waardoor het crawlbudget wordt verspild.

Hoe je het doet

  1. 1Controleer of productiepagina's GEEN noindex hebben (een veelvoorkomend overblijfsel van ontwikkeling/staging).
  2. 2Blokkeer in robots.txt geen CSS/JS of pagina's die u wilt indexeren.
  3. 3Blokkeer alleen wat niet in de index mag staan ​​(admin, winkelwagen, interne zoekopdracht).
  4. 4Verwijs naar de sitemap in robots.txt.
  5. 5Onthoud: robots.txt verhindert crawlen, maar niet noodzakelijkerwijs indexeren. Om uit de index te verwijderen, gebruik je meta noindex.

robots.txt

Fout
User-agent: *
Niet toestaan: / ← blokkeert de HELE site
Goed
User-agent: *
Niet toestaan: /admin/
Niet toestaan: /winkelwagen/
Toestaan: /

Sitemap: https://www.example.cz/sitemap.xml

Conclusie

Indexering is de ‘hoofdschakelaar’ van zichtbaarheid – en daarom behoort het tot de kritische controles. Controleer na elke implementatie of er geen noindex overblijft uit de testomgeving en of robots.txt niets belangrijks blokkeert. Eén fout hier kan al uw organische verkeer kosten.

Gerelateerde onderwerpen