robots.txt é um arquivo de texto na raiz do site que os robôs de busca leem antes de rastrear, para saber quais seções podem ou não visitar. Apesar de parecer trivial, esse arquivo passou quase três décadas sem um padrão oficial: a convenção surgiu informalmente em 1994 e só virou uma norma real do IETF — a RFC 9309 — em setembro de 2022.
User-agent, Disallow e Allow
O arquivo é dividido em blocos, cada um começando com User-agent:, seguido das diretivas Disallow e Allow, que marcam caminhos proibidos ou permitidos. O robô aplica o primeiro bloco cujo User-agent corresponda ao seu próprio nome; sem correspondência específica, recorre ao bloco genérico User-agent: *.
O que a RFC 9309 resolveu na prática
Antes de 2022, cada rastreador tratava casos-limite à sua maneira: tamanho máximo de linha, o que fazer com regras conflitantes, se uma diretiva desconhecida deveria ser ignorada ou travar a leitura do arquivo. A RFC 9309 formalizou esses detalhes — por exemplo, define um limite de 500 kibibytes para o arquivo e exige que linhas não reconhecidas sejam simplesmente ignoradas.
Sitemap como uma dica para o rastreador
A diretiva Sitemap: indica ao buscador onde está o arquivo sitemap.xml. Não é obrigatória, mas é útil: o robô não precisa adivinhar o caminho do mapa do site nem depender apenas do registro no Search Console.
Para que serve validar isso
- Verificar a sintaxe do robots.txt antes de publicar, para que um erro de digitação não bloqueie o site inteiro por acidente.
- Confirmar que nenhuma seção importante ficou oculta por regras conflitantes entre blocos diferentes.
- Testar uma combinação específica de user-agent e caminho na hora, sem esperar o próximo rastreamento.
Por que Disallow não esconde uma página dos resultados
É a confusão mais comum: Disallow impede que o robô rastreie o conteúdo de uma página, mas não impede que essa URL seja indexada. Se outro site indexado linkar para a página bloqueada, o Google ainda pode exibir a URL nos resultados, sem descrição, já que o conteúdo nunca foi rastreado.