Przejdź do treści
SEO Tools
Pomoc i dokumentacja
SEO Krytyczny wpływ Średnie 10–20 min

Robots (indeksacja i robots.txt)

Steruje tym, co wyszukiwarki mogą indeksować i przeszukiwać.

Co to jest

Indeksacją sterują dwie rzeczy: plik robots.txt (co wolno przeszukiwać) oraz meta robots / nagłówek X-Robots-Tag (czy stronę indeksować, np. noindex). Łatwo je pomylić.

Dlaczego warto to rozwiązać

Złe ustawienie to jeden z najbardziej niszczycielskich błędów SEO: przypadkowo pozostawione „noindex” lub „Disallow: /” może wyrzucić całą witrynę z Google. Z kolei brak reguł pozwala indeksować zbędne strony (koszyk, filtry) i marnuje crawl budget.

Jak to zrobić

  1. 1Sprawdź, czy strony produkcyjne NIE MAJĄ noindex (częsta pozostałość z fazy deweloperskiej/testowej).
  2. 2W robots.txt nie blokuj CSS/JS ani stron, które chcesz indeksować.
  3. 3Blokuj tylko to, co nie powinno być w indeksie (admin, koszyk, wyszukiwarka wewnętrzna).
  4. 4Odnośnik do mapy witryny podaj w robots.txt.
  5. 5Pamiętaj: robots.txt blokuje przeszukiwanie, ale niekoniecznie indeksację, do usunięcia z indeksu służy meta noindex.

robots.txt

Źle
User-agent: *
Disallow: /        ← zablokuje CAŁĄ witrynę
Dobrze
User-agent: *
Disallow: /admin/
Disallow: /koszyk/
Allow: /

Sitemap: https://www.example.pl/sitemap.xml

Podsumowanie

Indeksacja to „główny wyłącznik” widoczności, dlatego należy do kontroli krytycznych. Po każdym wdrożeniu sprawdź, czy nigdzie nie pozostał noindex ze środowiska testowego i czy robots.txt nie blokuje niczego ważnego. Jeden błąd w tym miejscu może kosztować cały ruch organiczny.

Powiązane tematy