Robots.txt জেনারেটর
robots.txt কি?
robots.txt হল একটি টেক্সট ফাইল যা আপনার ওয়েবসাইটের রুটে রাখা হয় (যেমন https://example.com/robots.txt) এবং ওয়েব ক্রলারদের জানায় কোন পেজ বা বিভাগগুলি তারা অ্যাক্সেস করতে পারে বা পারে না। এটি Robots Exclusion Protocol এর অংশ। সার্চ ইঞ্জিন বটগুলি সাধারণত এটি মেনে চলে, তবে ক্ষতিকর বটগুলি এটি উপেক্ষা করতে পারে। ডুপ্লিকেট পেজ, অ্যাডমিন এলাকা এবং ব্যক্তিগত বিভাগগুলিকে ক্রল থেকে ব্লক করতে এটি ব্যবহার করুন।
Robots.txt জেনারেটর কিভাবে ব্যবহার করবেন
-
একটি প্রিসেট বেছে নিন অথবা '+ নিয়ম যোগ করুন' ক্লিক করে শুরু থেকে শুরু করুন।
-
নির্দিষ্ট বট লক্ষ্য করতে User-agent ফিল্ড সেট করুন (সকল বটের জন্য * ব্যবহার করুন)।
-
ক্রল করতে না চাওয়া পেজগুলির জন্য Disallow পাথ এবং ব্যতিক্রমের জন্য Allow পাথ যোগ করুন।
-
আক্রমণাত্মক ক্রলারগুলি ধীর করতে ঐচ্ছিকভাবে Crawl-delay (সেকেন্ডে) সেট করুন।
-
নিচে আপনার সাইটম্যাপ URL যোগ করুন।
-
আউটপুট কপি করুন এবং আপনার ওয়েবসাইটের রুট ডিরেক্টরিতে robots.txt হিসেবে সংরক্ষণ করুন।
Keywords: robots.txt জেনারেটর, robots.txt ফাইল, ক্রলার ব্লক করুন, বট ব্লক করুন, SEO রোবট, sitemap রোবট, ওয়েব ক্রলার নিয়ম