SEO Критичний вплив Середнє 10–20 хв

Robots (індексація та robots.txt)

Керує тим, що пошукові системи можуть сканувати й індексувати.

Що це

Індексацією керують дві речі: файл robots.txt (що можна сканувати) та meta robots / заголовок X-Robots-Tag (чи індексувати сторінку, напр. noindex). Їх легко переплутати.

Чому це важливо

Неправильне налаштування — одна з найруйнівніших SEO-помилок: випадково залишений «noindex» чи «Disallow: /» може викинути весь сайт із Google. Навпаки, відсутні правила залишають індексувати зайві сторінки (кошик, фільтри) та марнують crawl budget.

Як це зробити

1Перевірте, що продакшн-сторінки НЕ мають noindex (частий залишок із розробки/тестового сайту).
2У robots.txt не блокуйте CSS/JS чи сторінки, які хочете індексувати.
3Блокуйте лише те, що не має бути в індексі (адмін, кошик, внутрішній пошук).
4Посилання на sitemap вкажіть у robots.txt.
5Пам'ятайте: robots.txt запобігає скануванню, але не обов'язково індексації — для виключення з індексу слугує meta noindex.

robots.txt

Погано

User-agent: *
Disallow: /        ← заблокує ВЕСЬ сайт

Правильно

User-agent: *
Disallow: /admin/
Disallow: /kosik/
Allow: /

Sitemap: https://www.example.cz/sitemap.xml

Висновок

Індексація — це «головний вимикач» видимості, тому вона належить до критичних перевірок. Після кожного впровадження переконайтеся, що ніде не залишився noindex із тестового середовища і що robots.txt не блокує нічого важливого. Одна помилка тут може коштувати всього органічного трафіку.

Повʼязані теми