Échec de la connexion. Veuillez réessayer.

Aller au contenu
SEO Tools
Aide et documentation
SEO Impact critique Moyen 10 à 20 minutes

Robots (indexation et robots.txt)

Contrôle ce que les moteurs de recherche peuvent explorer et indexer.

Ce que c’est

L'indexation est contrôlée par deux éléments : le fichier robots.txt (ce qui peut être exploré) et l'en-tête méta robots / X-Robots-Tag (s'il faut indexer une page, par exemple noindex). Ils se confondent facilement.

Pourquoi c’est important

Une mauvaise configuration est l'une des erreurs de référencement les plus destructrices : un "noindex" ou un "Disallow: /" accidentellement oublié peut supprimer l'intégralité du site de Google. A l’inverse, des règles manquantes permettent d’indexer les pages inutiles (panier, filtres) et de gaspiller le budget de crawl.

Comment faire

  1. 1Vérifiez que les pages de production n'ont PAS d'index (un reste courant du développement/de la mise en scène).
  2. 2Dans robots.txt, ne bloquez pas les CSS/JS ou les pages que vous souhaitez indexer.
  3. 3Bloquez uniquement ce qui ne doit pas figurer dans l'index (admin, panier, recherche interne).
  4. 4Référencez le plan du site dans robots.txt.
  5. 5N'oubliez pas : robots.txt empêche l'exploration mais pas nécessairement l'indexation – pour le supprimer de l'index, utilisez meta noindex.

robots.txt

Incorrect
Agent utilisateur : *
Interdire : / ← bloque tout le site
Correct
Agent utilisateur : *
Interdire : /admin/
Interdire : /cart/
Autoriser : /

Plan du site : https://www.example.cz/sitemap.xml

Conclusion

L'indexation est le « commutateur principal » de la visibilité — c'est pourquoi elle fait partie des contrôles critiques. Après chaque déploiement, vérifiez qu'il ne reste aucun noindex de l'environnement de test et que robots.txt ne bloque rien d'important. Une erreur ici peut coûter tout votre trafic organique.

Sujets liés