Controllo robots.txt
Inserisci l'URL del tuo sito e scopri immediatamente se il robots.txt è configurato correttamente e non impedisce ai motori di ricerca di indicizzare le pagine importanti.
Cosa controlla lo strumento
- Presenza e raggiungibilità del file robots.txt
- Regole Allow / Disallow e quali sezioni bloccano i bot
- Accesso dei principali bot (Googlebot, Bingbot, ecc.)
- Link alla sitemap XML all'interno del robots.txt
- Errori comuni, blocco accidentale dell'intero sito o dei file CSS/JS
Perché è importante
Il robots.txt è il primo file che un motore di ricerca legge quando visita un sito. Una sola regola errata come "Disallow: /" può escludere l'intero sito dall'indice. Al contrario, un link mancante alla sitemap rallenta la scoperta di nuove pagine. Una configurazione corretta risparmia il crawl budget e indirizza i bot dove devono andare.
Guida dettagliata nel centro assistenzaDomande frequenti
Cos'è il robots.txt?
È un file di testo nella root del sito (es. example.com/robots.txt) che indica ai robot dei motori di ricerca quali sezioni del sito possono e non possono scansionare.
Il robots.txt può escludere il sito da Google?
Sì. La direttiva "Disallow: /" vieta la scansione dell'intero sito: le pagine di solito scompaiono dall'indice o non vengono più aggiornate.
Il robots.txt deve contenere il link alla sitemap?
Non è obbligatorio, ma è consigliato. La riga "Sitemap: https://example.com/sitemap.xml" aiuta i motori di ricerca a trovare tutte le pagine più rapidamente.
Valuta questo strumento
Strumenti correlati
Vuoi un'analisi SEO + GEO completa del sito?
Esegui tutti i 20 controlli in una volta, monitora le posizioni su Google e Seznam e ricevi suggerimenti di miglioramento.
Avvia l'analisi completa