---

robots.txt क्या है?

robots.txt एक टेक्स्ट फ़ाइल है जो आपकी वेबसाइट की रूट में रखी जाती है (जैसे https://example.com/robots.txt) और वेब क्रॉलर्स को बताती है कि वे किन पृष्ठों या अनुभागों तक पहुंच सकते हैं या नहीं। यह Robots Exclusion Protocol का हिस्सा है। जबकि खोज इंजन बॉट्स आमतौर पर इसका सम्मान करते हैं, दुर्भावनापूर्ण बॉट्स इसे अनदेखा कर सकते हैं। इसका उपयोग डुप्लिकेट पृष्ठों, एडमिन क्षेत्रों और निजी अनुभागों को क्रॉल होने से ब्लॉक करने के लिए करें।

Robots.txt जनरेटर का उपयोग कैसे करें

1. एक प्रीसेट चुनें या '+ नियम जोड़ें' क्लिक करके शुरू से शुरू करें।

2. किसी विशेष बॉट को लक्षित करने के लिए User-agent फ़ील्ड सेट करें (सभी बॉट्स के लिए * का उपयोग करें)।

3. जो पृष्ठ क्रॉल नहीं करना चाहते उनके लिए Disallow पाथ और अपवादों के लिए Allow पाथ जोड़ें।

4. आक्रामक क्रॉलर्स को धीमा करने के लिए वैकल्पिक रूप से Crawl-delay (सेकंड में) सेट करें।

5. नीचे अपनी साइटमैप URL जोड़ें।

6. आउटपुट कॉपी करें और अपनी वेबसाइट की रूट डायरेक्टरी में robots.txt के रूप में सेव करें।

अक्सर पूछे जाने वाले प्रश्न

क्या यहां संवेदनशील डेटा को डीकोड करना सुरक्षित है? हां। सभी डीकोडिंग आपके ब्राउजर में JavaScript का उपयोग करके होती है। कोई भी डेटा किसी सर्वर को भेजा नहीं जाता है, इसलिए आपकी एन्कोड की गई स्ट्रिंग्स पूरी तरह से निजी रहती हैं।

Base64 और URL-safe Base64 के बीच क्या अंतर है? Standard Base64 + और / वर्णों का उपयोग करता है, जो URLs में विशेष वर्ण हैं। URL-safe Base64 उन्हें - और _ से प्रतिस्थापित करता है ताकि स्ट्रिंग को URLs और फ़ाइलनामों में प्रतिशत-एन्कोडिंग के बिना सुरक्षित रूप से उपयोग किया जा सके।

मेरा डीकोड किया गया आउटपुट अर्थहीन क्यों दिखता है? यदि मूल डेटा बाइनरी था (जैसे कि एक छवि, PDF, या संपीड़ित फ़ाइल), तो डीकोड किया गया आउटपुट पठनीय पाठ नहीं होगा। उस स्थिति में, Base64 स्ट्रिंग एक बाइनरी फ़ाइल का प्रतिनिधित्व करती है, एक पाठ स्ट्रिंग नहीं।

क्या Base64 एन्क्रिप्शन का एक रूप है? नहीं। Base64 एक एन्कोडिंग स्कीम है, एन्क्रिप्शन नहीं। कोई भी Base64 स्ट्रिंग को बिना कुंजी के डीकोड कर सकता है। इसे संवेदनशील डेटा की सुरक्षा के लिए कभी नहीं उपयोग किया जाना चाहिए — इसके लिए उचित एन्क्रिप्शन का उपयोग करें।

Keywords: robots.txt जनरेटर, robots.txt फ़ाइल, क्रॉलर ब्लॉक करें, बॉट ब्लॉक करें, SEO रोबोट, sitemap रोबोट, वेब क्रॉलर नियम