Перевірка robots.txt
Введіть адресу сайту, і ви одразу дізнаєтесь, чи правильно налаштований ваш robots.txt і чи не заважає він пошуковикам індексувати важливі сторінки.
Що перевіряє інструмент
- Наявність і доступність файлу robots.txt
- Правила Allow / Disallow та які розділи блокують ботів
- Доступ основних ботів (Googlebot, Bingbot та інших)
- Посилання на XML-sitemap усередині robots.txt
- Типові помилки, випадково заблокований увесь сайт або CSS/JS
Чому це важливо
Robots.txt, перший файл, який завантажує пошуковик на вашому сайті. Одне неправильне правило «Disallow: /» здатне повністю видалити сайт з індексу. Відсутнє посилання на sitemap уповільнює виявлення нових сторінок. Правильне налаштування економить crawl budget і спрямовує ботів туди, куди потрібно.
Детальна інструкція в довідціПоширені запитання
Що таке robots.txt?
Текстовий файл у кореневій директорії сайту (наприклад, example.com/robots.txt), який повідомляє пошуковим роботам, які частини сайту вони можуть обходити, а які, ні.
Чи може robots.txt заблокувати сайт у Google?
Так. Правило «Disallow: /» забороняє обхід усього сайту. У результаті сторінки зазвичай випадають з індексу або перестають оновлюватись.
Чи обов'язково вказувати sitemap у robots.txt?
Це не обов'язково, але рекомендовано. Рядок «Sitemap: https://example.com/sitemap.xml» допомагає пошуковикам швидше знаходити всі сторінки сайту.
Оцініть цей інструмент
Схожі інструменти
Бажаєте повний SEO + GEO аналіз сайту?
Запустіть усі 20 перевірок одразу, відстежуйте позиції в Google і Seznam та отримайте поради щодо покращення.
Запустити повний аналіз