Помилка підключення. Спробуйте ще раз.

Перейти до вмісту
SEO Tools

Перевірка robots.txt

Введіть адресу сайту — і ви одразу дізнаєтесь, чи правильно налаштований ваш robots.txt і чи не заважає він пошуковикам індексувати важливі сторінки.

Поділіться

Що перевіряє інструмент

  • Наявність і доступність файлу robots.txt
  • Правила Allow / Disallow та які розділи блокують ботів
  • Доступ основних ботів (Googlebot, Bingbot та інших)
  • Посилання на XML-sitemap усередині robots.txt
  • Типові помилки — випадково заблокований увесь сайт або CSS/JS

Чому це важливо

Robots.txt — перший файл, який завантажує пошуковик на вашому сайті. Одне неправильне правило «Disallow: /» здатне повністю видалити сайт з індексу. Відсутнє посилання на sitemap уповільнює виявлення нових сторінок. Правильне налаштування економить crawl budget і спрямовує ботів туди, куди потрібно.

Детальна інструкція в довідці

Поширені запитання

Що таке robots.txt?

Текстовий файл у кореневій директорії сайту (наприклад, example.com/robots.txt), який повідомляє пошуковим роботам, які частини сайту вони можуть обходити, а які — ні.

Чи може robots.txt заблокувати сайт у Google?

Так. Правило «Disallow: /» забороняє обхід усього сайту. У результаті сторінки зазвичай випадають з індексу або перестають оновлюватись.

Чи обов'язково вказувати sitemap у robots.txt?

Це не обов'язково, але рекомендовано. Рядок «Sitemap: https://example.com/sitemap.xml» допомагає пошуковикам швидше знаходити всі сторінки сайту.

Оцініть цей інструмент

Схожі інструменти

Бажаєте повний SEO + GEO аналіз сайту?

Запустіть усі 20 перевірок одразу, відстежуйте позиції в Google і Seznam та отримайте поради щодо покращення.

Запустити повний аналіз