Robots.txt जनरेटर
robots.txt काय आहे?
robots.txt ही एक मजकूर फाइल आहे जी तुमच्या वेबसाइटच्या रूटवर ठेवली जाते (उदा. https://example.com/robots.txt) आणि वेब क्रॉलर्सना सांगते की ते कोणत्या पृष्ठांवर किंवा विभागांमध्ये प्रवेश करू शकतात किंवा करू शकत नाहीत. हे Robots Exclusion Protocol चा भाग आहे. सर्च इंजिन बॉट्स सामान्यतः याचे पालन करतात, परंतु दुर्भावनापूर्ण बॉट्स त्याकडे दुर्लक्ष करू शकतात. डुप्लिकेट पृष्ठे, प्रशासक क्षेत्रे आणि खाजगी विभाग क्रॉल होण्यापासून रोखण्यासाठी याचा वापर करा.
Robots.txt जनरेटर कसे वापरावे
-
एक प्रीसेट निवडा किंवा '+ नियम जोडा' वर क्लिक करून शून्यापासून सुरू करा.
-
विशिष्ट बॉट लक्ष्य करण्यासाठी User-agent फील्ड सेट करा (सर्व बॉट्ससाठी * वापरा).
-
क्रॉल न करायच्या पृष्ठांसाठी Disallow पाथ आणि अपवादांसाठी Allow पाथ जोडा.
-
आक्रमक क्रॉलर्स मंद करण्यासाठी वैकल्पिकरित्या Crawl-delay (सेकंदात) सेट करा.
-
खाली तुमचा साइटमॅप URL जोडा.
-
आउटपुट कॉपी करा आणि तुमच्या वेबसाइटच्या रूट डिरेक्टरीमध्ये robots.txt म्हणून सेव्ह करा.
Keywords: robots.txt जनरेटर, robots.txt फाइल, क्रॉलर ब्लॉक करा, बॉट ब्लॉक करा, SEO रोबोट, sitemap रोबोट, वेब क्रॉलर नियम