robots.txt adalah file teks di root situs yang dibaca oleh crawler mesin pencari sebelum mulai merayapi halaman, untuk mengetahui bagian mana yang boleh dan tidak boleh dikunjungi. Tidak semua mesin pencari menafsirkan direktifnya dengan cara yang persis sama, dan di situlah kebanyakan kesalahan konfigurasi bermula.
Direktif User-agent, Disallow, dan Allow
File ini tersusun dari blok-blok, masing-masing diawali User-agent:, diikuti direktif Disallow dan Allow yang menandai jalur yang dilarang atau diizinkan. Crawler mengikuti blok pertama yang User-agent-nya cocok dengan namanya sendiri, dan jika tidak ada yang cocok, ia beralih ke blok umum User-agent: *.
Bingbot: bukan hanya Googlebot yang perlu diperiksa
Selain Googlebot, Bingbot tetap menjadi crawler penting untuk diperhatikan karena Bing memiliki pangsa pasar yang tidak bisa diabaikan di sejumlah wilayah dan menjadi mesin di balik beberapa asisten pencarian lain. Bingbot juga masih menghormati direktif Crawl-delay untuk mengatur jeda antar permintaan — sesuatu yang tidak pernah didukung Google dalam robots.txt.
Sitemap sebagai petunjuk, bukan keharusan
Direktif Sitemap: menunjukkan kepada mesin pencari lokasi file sitemap.xml. Sifatnya opsional, tapi berguna: crawler tidak perlu menebak jalur sitemap atau bergantung sepenuhnya pada pendaftarannya di search console.
Kenapa validasi ini penting
- Memeriksa sintaks robots.txt sebelum dipublikasikan, agar satu kesalahan ketik kecil tidak sampai memblokir seluruh situs dari crawling.
- Memastikan tidak ada bagian penting situs yang tersembunyi akibat aturan yang saling bertentangan antar blok.
- Menguji langsung kombinasi user-agent dan jalur tertentu, tanpa perlu menunggu crawl berikutnya.
Kenapa Disallow tidak menyembunyikan halaman dari hasil pencarian
Ini kebingungan paling umum: Disallow mencegah bot merayapi isi halaman, tapi tidak mencegah URL-nya terindeks. Jika situs lain yang sudah terindeks memuat tautan ke halaman yang diblokir itu, Google tetap bisa menampilkan URL-nya di hasil pencarian tanpa deskripsi, karena isinya memang tidak pernah dirayapi.