Comprobador de robots.txt
Ingrese la URL de su sitio web y descubra inmediatamente si su archivo robots.txt está configurado correctamente y no impide que los motores de búsqueda rastreen sus páginas más importantes.
Qué comprueba la herramienta
- Existencia y accesibilidad del archivo robots.txt
- Permitir/no permitir reglas y qué secciones están bloqueadas
- Permisos de acceso para los principales rastreadores (Googlebot, Bingbot y otros)
- Referencia del mapa del sitio XML dentro de robots.txt
- Errores comunes: bloquear accidentalmente todo el sitio o archivos CSS/JS
Por qué importa
Robots.txt es el primer archivo que busca un motor de búsqueda cuando visita su sitio. Una sola regla incorrecta, "No permitir: /", puede borrar todo su sitio del índice de la noche a la mañana. La falta de una referencia del mapa del sitio ralentiza el descubrimiento de nuevas páginas. Obtener el archivo robots.txt correcto protege su presupuesto de rastreo y mantiene a los bots enfocados en las páginas que importan.
Guía detallada en el centro de ayudaPreguntas frecuentes
¿Qué es robots.txt?
Un archivo de texto sin formato ubicado en la raíz de su sitio web (por ejemplo, ejemplo.com/robots.txt) que indica a los rastreadores de los motores de búsqueda qué partes de su sitio pueden o no visitar.
¿Puede el archivo robots.txt hacer que Google desindexe mi sitio?
Sí. Una regla "Disallow: /" bloquea el rastreo de todo su sitio. Las páginas que no se pueden rastrear normalmente saldrán del índice o dejarán de actualizarse.
¿Es necesario que el archivo robots.txt incluya un mapa del sitio?
No es obligatorio, pero sí muy recomendable. Agregar "Mapa del sitio: https://example.com/sitemap.xml" ayuda a los motores de búsqueda a descubrir todas sus páginas más rápido.
Califica esta herramienta
Herramientas relacionadas
¿Quieres un análisis SEO + GEO completo de tu web?
Ejecuta las 19 comprobaciones a la vez, sigue posiciones en Google y Seznam y obtén sugerencias de mejora.
Ejecutar análisis completo