SEO
robots.txt Validator
Convalida robots.txt — struttura dei gruppi User-agent, direttive, test di un percorso specifico per consenti/blocca.
Se indichi solo il dominio, verrà aggiunto /robots.txt. Non funzionerà per tutti i siti — alcuni bloccano le richieste cross-origin (CORS); se il caricamento fallisce, apri robots.txt in una nuova scheda e incolla il contenuto manualmente.
robots.txt controls which paths of a site search bots are allowed to crawl. A mistake in this file can accidentally block an entire site from indexing, or expose internal sections that shouldn't be crawled. This tool checks the file's structure and tests a specific path against allow/disallow rules.
How to use it
- Paste the contents of robots.txt and the tool parses the User-agent groups and directives (Allow, Disallow, Sitemap).
- Enter a specific path (e.g. /admin/ or /blog/post-1) to check whether it's allowed for a chosen bot.
- Syntax errors and suspicious constructs are flagged separately from valid directives.
Common uses
- Checking before a deploy that a new robots.txt hasn't accidentally blocked important pages.
- Debugging why a specific page isn't indexed — it may be caught by a Disallow rule.
- Comparing rules for different bots (Googlebot, Bingbot, etc.) when separate User-agent groups target them.
Things to keep in mind
robots.txt only blocks crawling — it doesn't guarantee a page won't appear in the index: if something else links to it, Google can still show the URL with no description. To reliably exclude a page, use a meta noindex tag, and the page must not be blocked in robots.txt for that tag to be seen.
Paths in robots.txt are case-sensitive — /Page and /page are treated as different paths.
Articolo su questo strumento: robots.txt: come i bot di ricerca decidono cosa possono scansionare
Domande frequenti
Perché la mia regola Disallow non blocca la pagina prevista?
Le regole di robots.txt vengono confrontate per prefisso, non per pagina esatta, e le regole più specifiche sovrascrivono quelle generali — un Disallow: /blog non bloccherà /blog-archive a meno che tu non consideri come funziona realmente la corrispondenza dei prefissi, e una regola Allow altrove può sovrascrivere un Disallow più ampio.
robots.txt impedisce davvero l'indicizzazione di una pagina?
Non in modo affidabile da solo. Chiede solo ai crawler ben educati di non recuperare una pagina — una pagina non consentita può comunque essere indicizzata (senza il suo contenuto) se altre pagine vi rimandano, quindi usa un meta tag o un'intestazione noindex per una vera garanzia.
Il contenuto del mio robots.txt viene inviato da qualche parte per validarlo?
No. La validazione avviene interamente nel tuo browser — nulla viene inviato a un server.
Googlebot supporta i caratteri jolly * e $?
Sì — Googlebot e la maggior parte degli altri crawler moderni supportano * (corrisponde a qualsiasi sequenza di caratteri) e $ (segna la fine dell'URL), ma è un'estensione oltre la specifica originale del 1994, quindi non tutti i bot li supportano.
I percorsi in robots.txt distinguono maiuscole e minuscole?
Sì. /Admin/ e /admin/ sono considerati due percorsi diversi, quindi una regola Disallow con maiuscole/minuscole errate non avrà alcun effetto sul percorso reale.