Robots.txt ജനറേറ്റർ
robots.txt എന്താണ്?
robots.txt നിങ്ങളുടെ വെബ്സൈറ്റിന്റെ റൂട്ടിൽ (ഉദാ. https://example.com/robots.txt) സ്ഥാപിച്ചിരിക്കുന്ന ഒരു ടെക്സ്റ്റ് ഫയലാണ്, ഇത് വെബ് ക്രോളറുകൾക്ക് ഏതൊക്കെ പേജുകൾ അല്ലെങ്കിൽ വിഭാഗങ്ങൾ ആക്സസ് ചെയ്യാമോ ആക്സസ് ചെയ്യരുതോ എന്ന് അറിയിക്കുന്നു. ഇത് Robots Exclusion Protocol ന്റെ ഭാഗമാണ്. സെർച്ച് എഞ്ചിൻ ബോട്ടുകൾ സാധാരണഗതിയിൽ ഇത് പാലിക്കും, എന്നാൽ ദോഷകരമായ ബോട്ടുകൾ ഇത് അവഗണിക്കാം. ഡ്യൂപ്ലിക്കേറ്റ് പേജുകൾ, അഡ്മിൻ ഏരിയകൾ, സ്വകാര്യ വിഭാഗങ്ങൾ ക്രോൾ ചെയ്യുന്നത് തടയാൻ ഇത് ഉപയോഗിക്കുക.
Robots.txt ജനറേറ്റർ എങ്ങനെ ഉപയോഗിക്കാം
-
ഒരു പ്രീസെറ്റ് തിരഞ്ഞെടുക്കുക അല്ലെങ്കിൽ '+ നിയമം ചേർക്കുക' ക്ലിക്ക് ചെയ്ത് ആദ്യം മുതൽ ആരംഭിക്കുക.
-
നിർദ്ദിഷ്ട ബോട്ടിനെ ലക്ഷ്യമിടാൻ User-agent ഫീൽഡ് സജ്ജമാക്കുക (എല്ലാ ബോട്ടുകൾക്കും * ഉപയോഗിക്കുക).
-
ക്രോൾ ചെയ്യരുതെന്ന് ആഗ്രഹിക്കുന്ന പേജുകൾക്ക് Disallow പാതകളും ഒഴിവാക്കലുകൾക്ക് Allow പാതകളും ചേർക്കുക.
-
ആക്രമണകാരിയായ ക്രോളറുകൾ മന്ദഗതിയിലാക്കാൻ ഐച്ഛികമായി Crawl-delay (സെക്കൻഡുകളിൽ) സജ്ജമാക്കുക.
-
താഴെ നിങ്ങളുടെ സൈറ്റ്മാപ്പ് URL ചേർക്കുക.
-
ഔട്ട്പുട്ട് പകർത്തി നിങ്ങളുടെ വെബ്സൈറ്റ് റൂട്ട് ഡയറക്ടറിയിൽ robots.txt ആയി സേവ് ചെയ്യുക.
പതിവായി ചോദിക്കുന്ന ചോദ്യങ്ങൾ
ഇവിടെ സംവേദനശീലമായ ഡാറ്റ ഡീകോഡ് ചെയ്യുന്നത് സുരക്ഷിതമാണോ? അതെ. എല്ലാ ഡീകോഡിംഗും നിങ്ങളുടെ ബ്രൗസറിൽ JavaScript ഉപയോഗിച്ച് നടക്കുന്നു. ഡാറ്റ ഏതെങ്കിലും സെർവറിലേക്ക് പ്രക്ഷേപണം ചെയ്യപ്പെടുന്നില്ല, അതിനാൽ നിങ്ങളുടെ എൻകോഡ് ചെയ്ത സ്ട്രിംഗുകൾ പൂർണ്ണമായും സ്വകാര്യമായി തുടരുന്നു.
Base64 എന്നതും URL-safe Base64 എന്നതും തമ്മിലുള്ള വ്യത്യാസം എന്ത്? സ്റ്റാൻഡേർഡ് Base64 + എന്നതും / എന്നതും ഉപയോഗിക്കുന്നു, ഇവ URLs-ലെ പ്രത്യേക പ്രതീകങ്ങളാണ്. URL-safe Base64 അവയെ - എന്നതും _ എന്നതും കൊണ്ട് മാറ്റുന്നു, അതിനാൽ സ്ട്രിംഗ് URLs-ലും ഫയൽനാമുകളിലും പ്രതിശതം എൻകോഡിംഗ് ഇല്ലാതെ സുരക്ഷിതമായി ഉപയോഗിക്കാം.
എന്തുകൊണ്ട് എന്റെ ഡീകോഡ് ചെയ്ത ഔട്ട്പുട്ട് അർത്ഥശൂന്യമായി കാണപ്പെടുന്നു? യഥാർത്ഥ ഡാറ്റ ബൈനറി ആണെങ്കിൽ (ഇമേജ്, PDF അല്ലെങ്കിൽ കംപ്രസ്ഡ് ഫയൽ പോലെ), ഡീകോഡ് ചെയ്ത ഔട്ട്പുട്ട് വായിക്കാവുന്ന വാചകമായിരിക്കില്ല. അത്തരം സാഹചര്യത്തിൽ, Base64 സ്ട്രിംഗ് ബൈനറി ഫയലിനെ പ്രതിനിധീകരിക്കുന്നു, വാചകം സ്ട്രിംഗ് അല്ല.
Base64 എന്നത് എൻക്രിപ്ഷന്റെ ഒരു രൂപമാണോ? ഇല്ല. Base64 ഒരു എൻകോഡിംഗ് സ്കീം ആണ്, എൻക്രിപ്ഷൻ അല്ല. ആര്പ്പോലും കീ ഇല്ലാതെ Base64 സ്ട്രിംഗ് ഡീകോഡ് ചെയ്യാൻ കഴിയും. സംവേദനശീല ഡാറ്റ സുരക്ഷിതമാക്കാൻ ഇത് ഒരിക്കലും ഉപയോഗിക്കരുത് — അതിനായി ശരിയായ എൻക്രിപ്ഷൻ ഉപയോഗിക്കുക.
Keywords: robots.txt ജനറേറ്റർ, robots.txt ഫയൽ, ക്രോളർ തടയൽ, ബോട്ട് തടയൽ, SEO റോബോട്ടുകൾ, sitemap റോബോട്ടുകൾ, വെബ് ക്രോളർ നിയമങ്ങൾ