SEO
robots.txt Validator
robots.txt वेरिफाई करें — User-agent ग्रुप्स की संरचना, डायरेक्टिव्स, किसी खास पाथ का अनुमति/अवरोध टेस्ट।
सिर्फ़ डोमेन देने पर /robots.txt अपने आप जुड़ जाएगा। हर साइट पर काम नहीं करेगा — कुछ साइटें क्रॉस-डोमेन रिक्वेस्ट (CORS) ब्लॉक करती हैं; अगर लोड न हो तो robots.txt नई टैब में खोलें और सामग्री मैन्युअली पेस्ट करें।