SEO
robots.txt Validator
Valide o robots.txt — estrutura de grupos User-agent, diretivas, teste de um caminho específico para permitir/bloquear.
Se você informar apenas o domínio, /robots.txt será adicionado. Não funcionará em todos os sites — alguns bloqueiam requisições entre domínios (CORS); se o carregamento falhar, abra o robots.txt em uma nova aba e cole o conteúdo manualmente.
robots.txt controls which paths of a site search bots are allowed to crawl. A mistake in this file can accidentally block an entire site from indexing, or expose internal sections that shouldn't be crawled. This tool checks the file's structure and tests a specific path against allow/disallow rules.
How to use it
- Paste the contents of robots.txt and the tool parses the User-agent groups and directives (Allow, Disallow, Sitemap).
- Enter a specific path (e.g. /admin/ or /blog/post-1) to check whether it's allowed for a chosen bot.
- Syntax errors and suspicious constructs are flagged separately from valid directives.
Common uses
- Checking before a deploy that a new robots.txt hasn't accidentally blocked important pages.
- Debugging why a specific page isn't indexed — it may be caught by a Disallow rule.
- Comparing rules for different bots (Googlebot, Bingbot, etc.) when separate User-agent groups target them.
Things to keep in mind
robots.txt only blocks crawling — it doesn't guarantee a page won't appear in the index: if something else links to it, Google can still show the URL with no description. To reliably exclude a page, use a meta noindex tag, and the page must not be blocked in robots.txt for that tag to be seen.
Paths in robots.txt are case-sensitive — /Page and /page are treated as different paths.
Artigo sobre esta ferramenta: robots.txt: como os bots de busca decidem o que podem rastrear
Perguntas frequentes
Por que minha regra Disallow não está bloqueando a página que eu esperava?
As regras do robots.txt são comparadas por prefixo, não pela página exata, e regras mais específicas substituem as gerais — um Disallow: /blog não bloqueará /blog-archive a menos que você considere como a correspondência de prefixo realmente funciona, e uma regra Allow em outro lugar pode substituir um Disallow mais amplo.
O robots.txt realmente impede que uma página seja indexada?
Não de forma confiável por si só. Ele apenas pede a rastreadores bem-comportados que não busquem uma página — uma página não permitida ainda pode ser indexada (sem seu conteúdo) se outras páginas apontarem para ela, então use uma meta tag ou cabeçalho noindex para uma garantia real.
O conteúdo do meu robots.txt é enviado para algum lugar para validá-lo?
Não. A validação acontece inteiramente no seu navegador — nada é enviado a um servidor.
O Googlebot suporta os curingas * e $ no robots.txt?
Sim — o Google suporta * como qualquer sequência de caracteres e $ como o fim de uma URL, embora isso seja uma extensão além da especificação original de 1994, então nem todo bot é garantido reconhecê-los.
Os caminhos no robots.txt diferenciam maiúsculas de minúsculas?
Sim — /Admin/ e /admin/ são tratados como caminhos diferentes, então uma regra Disallow precisa corresponder exatamente à capitalização usada nas URLs reais do site.