Robots.txt ജനറേറ്റർ
robots.txt എന്താണ്?
robots.txt നിങ്ങളുടെ വെബ്സൈറ്റിന്റെ റൂട്ടിൽ (ഉദാ. https://example.com/robots.txt) സ്ഥാപിച്ചിരിക്കുന്ന ഒരു ടെക്സ്റ്റ് ഫയലാണ്, ഇത് വെബ് ക്രോളറുകൾക്ക് ഏതൊക്കെ പേജുകൾ അല്ലെങ്കിൽ വിഭാഗങ്ങൾ ആക്സസ് ചെയ്യാമോ ആക്സസ് ചെയ്യരുതോ എന്ന് അറിയിക്കുന്നു. ഇത് Robots Exclusion Protocol ന്റെ ഭാഗമാണ്. സെർച്ച് എഞ്ചിൻ ബോട്ടുകൾ സാധാരണഗതിയിൽ ഇത് പാലിക്കും, എന്നാൽ ദോഷകരമായ ബോട്ടുകൾ ഇത് അവഗണിക്കാം. ഡ്യൂപ്ലിക്കേറ്റ് പേജുകൾ, അഡ്മിൻ ഏരിയകൾ, സ്വകാര്യ വിഭാഗങ്ങൾ ക്രോൾ ചെയ്യുന്നത് തടയാൻ ഇത് ഉപയോഗിക്കുക.
Robots.txt ജനറേറ്റർ എങ്ങനെ ഉപയോഗിക്കാം
-
ഒരു പ്രീസെറ്റ് തിരഞ്ഞെടുക്കുക അല്ലെങ്കിൽ '+ നിയമം ചേർക്കുക' ക്ലിക്ക് ചെയ്ത് ആദ്യം മുതൽ ആരംഭിക്കുക.
-
നിർദ്ദിഷ്ട ബോട്ടിനെ ലക്ഷ്യമിടാൻ User-agent ഫീൽഡ് സജ്ജമാക്കുക (എല്ലാ ബോട്ടുകൾക്കും * ഉപയോഗിക്കുക).
-
ക്രോൾ ചെയ്യരുതെന്ന് ആഗ്രഹിക്കുന്ന പേജുകൾക്ക് Disallow പാതകളും ഒഴിവാക്കലുകൾക്ക് Allow പാതകളും ചേർക്കുക.
-
ആക്രമണകാരിയായ ക്രോളറുകൾ മന്ദഗതിയിലാക്കാൻ ഐച്ഛികമായി Crawl-delay (സെക്കൻഡുകളിൽ) സജ്ജമാക്കുക.
-
താഴെ നിങ്ങളുടെ സൈറ്റ്മാപ്പ് URL ചേർക്കുക.
-
ഔട്ട്പുട്ട് പകർത്തി നിങ്ങളുടെ വെബ്സൈറ്റ് റൂട്ട് ഡയറക്ടറിയിൽ robots.txt ആയി സേവ് ചെയ്യുക.
Keywords: robots.txt ജനറേറ്റർ, robots.txt ഫയൽ, ക്രോളർ തടയൽ, ബോട്ട് തടയൽ, SEO റോബോട്ടുകൾ, sitemap റോബോട്ടുകൾ, വെബ് ക്രോളർ നിയമങ്ങൾ