Robots.txt जनरेटर
robots.txt क्या है?
robots.txt एक टेक्स्ट फ़ाइल है जो आपकी वेबसाइट की रूट में रखी जाती है (जैसे https://example.com/robots.txt) और वेब क्रॉलर्स को बताती है कि वे किन पृष्ठों या अनुभागों तक पहुंच सकते हैं या नहीं। यह Robots Exclusion Protocol का हिस्सा है। जबकि खोज इंजन बॉट्स आमतौर पर इसका सम्मान करते हैं, दुर्भावनापूर्ण बॉट्स इसे अनदेखा कर सकते हैं। इसका उपयोग डुप्लिकेट पृष्ठों, एडमिन क्षेत्रों और निजी अनुभागों को क्रॉल होने से ब्लॉक करने के लिए करें।
Robots.txt जनरेटर का उपयोग कैसे करें
-
एक प्रीसेट चुनें या '+ नियम जोड़ें' क्लिक करके शुरू से शुरू करें।
-
किसी विशेष बॉट को लक्षित करने के लिए User-agent फ़ील्ड सेट करें (सभी बॉट्स के लिए * का उपयोग करें)।
-
जो पृष्ठ क्रॉल नहीं करना चाहते उनके लिए Disallow पाथ और अपवादों के लिए Allow पाथ जोड़ें।
-
आक्रामक क्रॉलर्स को धीमा करने के लिए वैकल्पिक रूप से Crawl-delay (सेकंड में) सेट करें।
-
नीचे अपनी साइटमैप URL जोड़ें।
-
आउटपुट कॉपी करें और अपनी वेबसाइट की रूट डायरेक्टरी में robots.txt के रूप में सेव करें।
Keywords: robots.txt जनरेटर, robots.txt फ़ाइल, क्रॉलर ब्लॉक करें, बॉट ब्लॉक करें, SEO रोबोट, sitemap रोबोट, वेब क्रॉलर नियम