Robots.txt உருவாக்கி
robots.txt என்றால் என்ன?
robots.txt என்பது உங்கள் இணையதளத்தின் மூலத்தில் (எ.கா. https://example.com/robots.txt) வைக்கப்பட்ட ஒரு உரை கோப்பு ஆகும், இது இணைய crawlers-க்கு எந்த பக்கங்கள் அல்லது பிரிவுகளை அணுகலாம் அல்லது அணுகக்கூடாது என்று தெரிவிக்கிறது. இது Robots Exclusion Protocol-இன் பகுதியாகும். தேடுபொறி bot-கள் பொதுவாக இதை மதிக்கும், ஆனால் தீங்கிழைக்கும் bot-கள் இதை புறக்கணிக்கலாம். நகல் பக்கங்கள், நிர்வாக பகுதிகள் மற்றும் தனியார் பிரிவுகளை crawl செய்வதிலிருந்து தடுக்க இதைப் பயன்படுத்துங்கள்.
Robots.txt உருவாக்கியை எவ்வாறு பயன்படுத்துவது
-
ஒரு preset தேர்ந்தெடுக்கவும் அல்லது '+ விதி சேர்' என்பதை கிளிக் செய்து புதிதாக தொடங்கவும்.
-
குறிப்பிட்ட bot-ஐ குறிவைக்க User-agent புலத்தை அமைக்கவும் (அனைத்து bot-களுக்கும் * பயன்படுத்தவும்).
-
crawl செய்ய விரும்பாத பக்கங்களுக்கு Disallow பாதைகளையும் விதிவிலக்குகளுக்கு Allow பாதைகளையும் சேர்க்கவும்.
-
ஆக்கிரமிப்பு crawlers-ஐ மெதுவாக்க விருப்பமாக Crawl-delay (நொடிகளில்) அமைக்கவும்.
-
கீழே உங்கள் sitemap URL சேர்க்கவும்.
-
வெளியீட்டை நகலெடுத்து உங்கள் இணையதளத்தின் மூல அடைவில் robots.txt ஆக சேமிக்கவும்.
Keywords: robots.txt உருவாக்கி, robots.txt கோப்பு, crawlers தடை, bot தடை, SEO robots, sitemap robots, இணைய crawler விதிகள்