Sprawdzanie robots.txt
Wpisz adres strony i natychmiast sprawdzisz, czy Twój plik robots.txt jest poprawnie skonfigurowany i nie uniemożliwia wyszukiwarkom indeksowania ważnych podstron.
Co sprawdza narzędzie
- Istnienie i dostępność pliku robots.txt
- Reguły Allow / Disallow i które sekcje blokują boty
- Dostęp głównych botów (Googlebot, Bingbot, inne)
- Odsyłacz do sitemapy XML wewnątrz robots.txt
- Częste błędy, przypadkowe zablokowanie całej witryny lub plików CSS/JS
Dlaczego to ważne
Plik robots.txt to pierwszy plik, jaki wyszukiwarka pobiera podczas odwiedzin witryny. Jedna błędna reguła Disallow: / potrafi wykluczyć całą witrynę z indeksu. Z kolei brak odsyłacza do sitemapy spowalnia odkrywanie nowych stron. Prawidłowa konfiguracja oszczędza budżet crawlowania i kieruje boty we właściwe miejsca.
Szczegółowy poradnik w pomocyNajczęstsze pytania
Czym jest plik robots.txt?
To plik tekstowy umieszczony w katalogu głównym witryny (np. example.com/robots.txt), który informuje roboty wyszukiwarek, które części witryny mogą być przeglądane, a które nie.
Czy robots.txt może zablokować witrynę w Google?
Tak. Reguła Disallow: / zabrania indeksowania całej witryny. Strony zazwyczaj wypadają wtedy z indeksu lub przestają być aktualizowane.
Czy robots.txt musi zawierać odsyłacz do sitemapy?
Nie jest to wymagane, ale zalecane. Linia Sitemap: https://example.com/sitemap.xml pomaga wyszukiwarkom szybciej znaleźć wszystkie strony.
Oceń to narzędzie
Powiązane narzędzia
Chcesz pełną analizę SEO + GEO strony?
Uruchom wszystkie 18 testów naraz, śledź pozycje w Google i Seznam oraz otrzymaj sugestie ulepszeń.
Uruchom pełną analizę