SEO
robots.txt Validator
Valida robots.txt — estructura de grupos User-agent, directivas, prueba de una ruta específica para permitir/bloquear.
Si indicas solo el dominio, se añadirá /robots.txt. No funcionará en todos los sitios — algunos bloquean solicitudes entre dominios (CORS); si la carga falla, abre robots.txt en una pestaña nueva y pega el contenido manualmente.
robots.txt controls which paths of a site search bots are allowed to crawl. A mistake in this file can accidentally block an entire site from indexing, or expose internal sections that shouldn't be crawled. This tool checks the file's structure and tests a specific path against allow/disallow rules.
How to use it
- Paste the contents of robots.txt and the tool parses the User-agent groups and directives (Allow, Disallow, Sitemap).
- Enter a specific path (e.g. /admin/ or /blog/post-1) to check whether it's allowed for a chosen bot.
- Syntax errors and suspicious constructs are flagged separately from valid directives.
Common uses
- Checking before a deploy that a new robots.txt hasn't accidentally blocked important pages.
- Debugging why a specific page isn't indexed — it may be caught by a Disallow rule.
- Comparing rules for different bots (Googlebot, Bingbot, etc.) when separate User-agent groups target them.
Things to keep in mind
robots.txt only blocks crawling — it doesn't guarantee a page won't appear in the index: if something else links to it, Google can still show the URL with no description. To reliably exclude a page, use a meta noindex tag, and the page must not be blocked in robots.txt for that tag to be seen.
Paths in robots.txt are case-sensitive — /Page and /page are treated as different paths.
Artículo sobre esta herramienta: robots.txt: cómo deciden los bots de búsqueda qué pueden rastrear
Preguntas frecuentes
¿Por qué mi regla Disallow no bloquea la página que esperaba?
Las reglas de robots.txt se comparan por prefijo, no por página exacta, y las reglas más específicas anulan a las generales — un Disallow: /blog no bloqueará /blog-archive a menos que tengas en cuenta cómo funciona realmente la coincidencia de prefijos, y una regla Allow en otro lugar puede anular un Disallow más amplio.
¿El robots.txt realmente impide que una página sea indexada?
No de forma fiable por sí solo. Solo pide a los rastreadores bien comportados que no obtengan una página — una página no permitida aún puede ser indexada (sin su contenido) si otras páginas enlazan a ella, así que usa una etiqueta meta o encabezado noindex para una garantía real.
¿Se envía el contenido de mi robots.txt a algún sitio para validarlo?
No. La validación ocurre enteramente en tu navegador — nada se sube a un servidor.
¿Googlebot admite los comodines * y $ en robots.txt?
Sí — Google admite * como cualquier secuencia de caracteres y $ como el final de una URL, aunque es una extensión más allá de la especificación original de 1994, así que no todos los bots los reconocen necesariamente.
¿Las rutas en robots.txt distinguen entre mayúsculas y minúsculas?
Sí — /Admin/ y /admin/ se consideran rutas distintas, así que una regla Disallow debe coincidir exactamente con las mayúsculas y minúsculas usadas en las URL reales del sitio.