SEO
robots.txt Validator
Memvalidasi robots.txt — struktur grup User-agent, direktif, uji jalur tertentu untuk izin/blokir.
Jika hanya domain yang dimasukkan, /robots.txt akan ditambahkan. Tidak akan berfungsi untuk semua situs — beberapa memblokir permintaan lintas domain (CORS); jika pemuatan gagal, buka robots.txt di tab baru dan tempel kontennya secara manual.
robots.txt controls which paths of a site search bots are allowed to crawl. A mistake in this file can accidentally block an entire site from indexing, or expose internal sections that shouldn't be crawled. This tool checks the file's structure and tests a specific path against allow/disallow rules.
How to use it
- Paste the contents of robots.txt and the tool parses the User-agent groups and directives (Allow, Disallow, Sitemap).
- Enter a specific path (e.g. /admin/ or /blog/post-1) to check whether it's allowed for a chosen bot.
- Syntax errors and suspicious constructs are flagged separately from valid directives.
Common uses
- Checking before a deploy that a new robots.txt hasn't accidentally blocked important pages.
- Debugging why a specific page isn't indexed — it may be caught by a Disallow rule.
- Comparing rules for different bots (Googlebot, Bingbot, etc.) when separate User-agent groups target them.
Things to keep in mind
robots.txt only blocks crawling — it doesn't guarantee a page won't appear in the index: if something else links to it, Google can still show the URL with no description. To reliably exclude a page, use a meta noindex tag, and the page must not be blocked in robots.txt for that tag to be seen.
Paths in robots.txt are case-sensitive — /Page and /page are treated as different paths.
Artikel tentang alat ini: robots.txt: bagaimana bot pencari memutuskan apa yang boleh dijelajahi
Pertanyaan yang sering diajukan
Mengapa aturan Disallow saya tidak memblokir halaman yang saya harapkan?
Aturan robots.txt dicocokkan berdasarkan prefiks, bukan halaman yang tepat, dan aturan yang lebih spesifik menimpa yang umum — Disallow: /blog tidak akan memblokir /blog-archive kecuali Anda memperhitungkan cara kerja pencocokan prefiks yang sebenarnya, dan aturan Allow di tempat lain dapat menimpa Disallow yang lebih luas.
Apakah robots.txt benar-benar mencegah halaman diindeks?
Tidak dapat diandalkan dengan sendirinya. Ini hanya meminta crawler yang berperilaku baik untuk tidak mengambil halaman — halaman yang dilarang masih dapat diindeks (tanpa kontennya) jika halaman lain menautkannya, jadi gunakan meta tag atau header noindex untuk jaminan yang sebenarnya.
Apakah konten robots.txt saya dikirim ke suatu tempat untuk memvalidasinya?
Tidak. Validasi terjadi sepenuhnya di browser Anda — tidak ada yang dikirim ke server.
Apakah Googlebot mendukung karakter wildcard * dan $ di robots.txt?
Ya — Google mendukung * sebagai urutan karakter apa pun dan $ sebagai akhir URL, meskipun ini adalah ekstensi di luar spesifikasi asli tahun 1994, jadi tidak semua bot dijamin mengenalinya.
Apakah jalur di robots.txt peka huruf besar/kecil?
Ya — /Admin/ dan /admin/ dianggap sebagai jalur yang berbeda, jadi aturan Disallow harus cocok persis dengan huruf besar/kecil yang digunakan dalam URL situs yang sebenarnya.