SEO
robots.txt Validator
robots.txt'i doğrulayın — User-agent grup yapısı, direktifler, belirli bir yolun izin/engel testi.
Yalnızca alan adı belirtilirse /robots.txt eklenir. Tüm sitelerde çalışmaz — bazıları çapraz kaynaklı istekleri (CORS) engeller; yükleme başarısız olursa robots.txt'i yeni bir sekmede açıp içeriği elle yapıştırın.
robots.txt controls which paths of a site search bots are allowed to crawl. A mistake in this file can accidentally block an entire site from indexing, or expose internal sections that shouldn't be crawled. This tool checks the file's structure and tests a specific path against allow/disallow rules.
How to use it
- Paste the contents of robots.txt and the tool parses the User-agent groups and directives (Allow, Disallow, Sitemap).
- Enter a specific path (e.g. /admin/ or /blog/post-1) to check whether it's allowed for a chosen bot.
- Syntax errors and suspicious constructs are flagged separately from valid directives.
Common uses
- Checking before a deploy that a new robots.txt hasn't accidentally blocked important pages.
- Debugging why a specific page isn't indexed — it may be caught by a Disallow rule.
- Comparing rules for different bots (Googlebot, Bingbot, etc.) when separate User-agent groups target them.
Things to keep in mind
robots.txt only blocks crawling — it doesn't guarantee a page won't appear in the index: if something else links to it, Google can still show the URL with no description. To reliably exclude a page, use a meta noindex tag, and the page must not be blocked in robots.txt for that tag to be seen.
Paths in robots.txt are case-sensitive — /Page and /page are treated as different paths.
Bu araç hakkında makale: robots.txt: arama botları neyi tarayabileceklerine nasıl karar verir
Sıkça sorulan sorular
Disallow kuralım neden beklediğim sayfayı engellemiyor?
Robots.txt kuralları tam sayfaya göre değil önek (prefix) ile eşleştirilir ve daha spesifik kurallar genel olanların yerini alır — önek eşleşmesinin gerçekte nasıl çalıştığını dikkate almadığınız sürece Disallow: /blog, /blog-archive'ı engellemez ve başka bir yerdeki bir Allow kuralı daha geniş bir Disallow'un yerini alabilir.
robots.txt gerçekten bir sayfanın dizine eklenmesini engeller mi?
Tek başına güvenilir bir şekilde değil. Yalnızca iyi davranan tarayıcılardan bir sayfayı almamalarını ister — başka sayfalar ona bağlantı veriyorsa, izin verilmeyen bir sayfa yine de (içeriği olmadan) dizine eklenebilir, bu yüzden gerçek bir garanti için noindex meta etiketi veya başlığı kullanın.
robots.txt içeriğim doğrulanmak üzere bir yere gönderiliyor mu?
Hayır. Doğrulama tamamen tarayıcınızda gerçekleşir — hiçbir şey sunucuya gönderilmez.
Googlebot robots.txt'teki * ve $ joker karakterlerini destekliyor mu?
Evet — Google, *'ı herhangi bir karakter dizisi ve $'ı URL'nin sonu olarak destekler, ancak bu 1994'teki orijinal spesifikasyonun ötesinde bir uzantı olduğundan her botun bunları tanıyacağı garanti değildir.
robots.txt'teki yollar büyük/küçük harfe duyarlı mı?
Evet — /Admin/ ve /admin/ farklı yollar olarak kabul edilir, bu yüzden bir Disallow kuralı sitenin gerçek URL'lerinde kullanılan büyük/küçük harfle tam olarak eşleşmelidir.