Robots.txt உருவாக்கி
robots.txt என்றால் என்ன?
robots.txt என்பது உங்கள் இணையதளத்தின் மூலத்தில் (எ.கா. https://example.com/robots.txt) வைக்கப்பட்ட ஒரு உரை கோப்பு ஆகும், இது இணைய crawlers-க்கு எந்த பக்கங்கள் அல்லது பிரிவுகளை அணுகலாம் அல்லது அணுகக்கூடாது என்று தெரிவிக்கிறது. இது Robots Exclusion Protocol-இன் பகுதியாகும். தேடுபொறி bot-கள் பொதுவாக இதை மதிக்கும், ஆனால் தீங்கிழைக்கும் bot-கள் இதை புறக்கணிக்கலாம். நகல் பக்கங்கள், நிர்வாக பகுதிகள் மற்றும் தனியார் பிரிவுகளை crawl செய்வதிலிருந்து தடுக்க இதைப் பயன்படுத்துங்கள்.
Robots.txt உருவாக்கியை எவ்வாறு பயன்படுத்துவது
-
ஒரு preset தேர்ந்தெடுக்கவும் அல்லது '+ விதி சேர்' என்பதை கிளிக் செய்து புதிதாக தொடங்கவும்.
-
குறிப்பிட்ட bot-ஐ குறிவைக்க User-agent புலத்தை அமைக்கவும் (அனைத்து bot-களுக்கும் * பயன்படுத்தவும்).
-
crawl செய்ய விரும்பாத பக்கங்களுக்கு Disallow பாதைகளையும் விதிவிலக்குகளுக்கு Allow பாதைகளையும் சேர்க்கவும்.
-
ஆக்கிரமிப்பு crawlers-ஐ மெதுவாக்க விருப்பமாக Crawl-delay (நொடிகளில்) அமைக்கவும்.
-
கீழே உங்கள் sitemap URL சேர்க்கவும்.
-
வெளியீட்டை நகலெடுத்து உங்கள் இணையதளத்தின் மூல அடைவில் robots.txt ஆக சேமிக்கவும்.
அடிக்கடி கேட்கப்படும் கேள்விகள்
இங்கே உணர்திறன் வாய்ந்த தரவைக் டிகோட் செய்வது பாதுரக்ஷிதமா? ஆம். அனைத்து டிகோடிங்கும் உங்கள் பிரவுசரில் JavaScript ஐப் பயன்படுத்தி நடைபெறும். எந்த தரவும் எந்த சேவையகத்திற்கும் அனுப்பப்படாது, எனவே உங்கள் என்கோட் செய்யப்பட்ட சரங்கள் முழுவதும் தனிப்பட்டதாக இருக்கும்.
Base64 மற்றும் URL-safe Base64 க்கு இடையே என்ன வேறுபாடு உள்ளது? நிலையான Base64, + மற்றும் / எழுத்துக்களைப் பயன்படுத்துகிறது, அவை URL-களில் சிறப்புக் குறிப்புகள். URL-safe Base64 அவற்றை - மற்றும் _ உடன் மாற்றுகிறது, இதனால் சரம் percent-encoding இல்லாமல் URL-களில் மற்றும் கோப்புப் பெயர்களில் பாதுரக்ஷிதமாகப் பயன்படுத்தப்படலாம்.
என்னுடைய டிகோட் செய்யப்பட்ட வெளியீடு ஏன் அபத்தமாகத் தெரிகிறது? அசல் தரவு பைனரி ஆக இருந்தால் (ஒரு படம், PDF, அல்லது சுருக்கப்பட்ட கோப்பு போன்றவை), டிகோட் செய்யப்பட்ட வெளியீடு படிக்கக்கூடிய உரையாக இருக்காது. அந்த விஷயத்தில், Base64 சரம் ஒரு பைனரி கோப்பைப் பிரதிநிதித்துவம் செய்கிறது, உரை சரம் அல்ல.
Base64 ஒரு என்கிரிப்ஷன் வடிவமா? இல்லை. Base64 ஒரு என்கோடிங் திட்டம், என்கிரிப்ஷன் அல்ல. எவராவது விசை இல்லாமல் Base64 சரத்தைக் டிகோட் செய்யலாம். உணர்திறன் வாய்ந்த தரவைப் பாதுகாக்க இது ஒருபோதும் பயன்படுத்தப்படக்கூடாது — அதற்கு சரியான என்கிரிப்ஷனைப் பயன்படுத்தவும்.
Keywords: robots.txt உருவாக்கி, robots.txt கோப்பு, crawlers தடை, bot தடை, SEO robots, sitemap robots, இணைய crawler விதிகள்