Přeskočit na obsah
SEO Tools
Nápověda a dokumentace
SEO Kritický dopad Střední 10–20 min

Robots (indexace a robots.txt)

Řídí, co smí vyhledávače procházet a indexovat.

Co to je

Indexaci řídí dvě věci: soubor robots.txt (co se smí procházet) a meta robots / hlavička X-Robots-Tag (zda stránku indexovat, např. noindex). Snadno se zamění.

Proč to řešit

Špatné nastavení je jedna z nejničivějších SEO chyb: omylem ponechané „noindex" nebo „Disallow: /" může vyhodit celý web z Googlu. Naopak chybějící pravidla nechají indexovat zbytečné stránky (košík, filtry) a plýtvají crawl budgetem.

Jak na to

  1. 1Zkontroluj, že produkční stránky NEMAJÍ noindex (častý pozůstatek z vývoje/testovacího webu).
  2. 2V robots.txt neblokuj CSS/JS ani stránky, které chceš indexovat.
  3. 3Blokuj jen to, co nemá být v indexu (admin, košík, interní vyhledávání).
  4. 4Odkaz na sitemapu uveď v robots.txt.
  5. 5Pamatuj: robots.txt brání procházení, ale ne nutně indexaci, na vyřazení z indexu slouží meta noindex.

robots.txt

Špatně
User-agent: *
Disallow: /        ← zablokuje CELÝ web
Správně
User-agent: *
Disallow: /admin/
Disallow: /kosik/
Allow: /

Sitemap: https://www.example.cz/sitemap.xml

Závěr

Indexace je „hlavní vypínač" viditelnosti, proto patří mezi kritické kontroly. Po každém nasazení ověř, že nikde nezůstal noindex z testovacího prostředí a že robots.txt neblokuje nic důležitého. Jedna chyba tady umí stát veškerou organickou návštěvnost.

Související témata