Robots.txt জেনারেটর
robots.txt কি?
robots.txt হল একটি টেক্সট ফাইল যা আপনার ওয়েবসাইটের রুটে রাখা হয় (যেমন https://example.com/robots.txt) এবং ওয়েব ক্রলারদের জানায় কোন পেজ বা বিভাগগুলি তারা অ্যাক্সেস করতে পারে বা পারে না। এটি Robots Exclusion Protocol এর অংশ। সার্চ ইঞ্জিন বটগুলি সাধারণত এটি মেনে চলে, তবে ক্ষতিকর বটগুলি এটি উপেক্ষা করতে পারে। ডুপ্লিকেট পেজ, অ্যাডমিন এলাকা এবং ব্যক্তিগত বিভাগগুলিকে ক্রল থেকে ব্লক করতে এটি ব্যবহার করুন।
Robots.txt জেনারেটর কিভাবে ব্যবহার করবেন
-
একটি প্রিসেট বেছে নিন অথবা '+ নিয়ম যোগ করুন' ক্লিক করে শুরু থেকে শুরু করুন।
-
নির্দিষ্ট বট লক্ষ্য করতে User-agent ফিল্ড সেট করুন (সকল বটের জন্য * ব্যবহার করুন)।
-
ক্রল করতে না চাওয়া পেজগুলির জন্য Disallow পাথ এবং ব্যতিক্রমের জন্য Allow পাথ যোগ করুন।
-
আক্রমণাত্মক ক্রলারগুলি ধীর করতে ঐচ্ছিকভাবে Crawl-delay (সেকেন্ডে) সেট করুন।
-
নিচে আপনার সাইটম্যাপ URL যোগ করুন।
-
আউটপুট কপি করুন এবং আপনার ওয়েবসাইটের রুট ডিরেক্টরিতে robots.txt হিসেবে সংরক্ষণ করুন।
সাধারণত জিজ্ঞাসিত প্রশ্ন
এখানে সংবেদনশীল ডেটা ডিকোড করা নিরাপদ কি? হ্যাঁ। সমস্ত ডিকোডিং আপনার ব্রাউজারে JavaScript ব্যবহার করে ঘটে। কোনো ডেটা কোনো সার্ভারে প্রেরণ করা হয় না, তাই আপনার এনকোডেড স্ট্রিংগুলি সম্পূর্ণরূপে ব্যক্তিগত থাকে।
Base64 এবং URL-safe Base64 এর মধ্যে পার্থক্য কী? স্ট্যান্ডার্ড Base64 + এবং / অক্ষর ব্যবহার করে, যা URL-তে বিশেষ অক্ষর। URL-safe Base64 তাদের - এবং _ দিয়ে প্রতিস্থাপন করে যাতে স্ট্রিংটি URL এবং ফাইল নামগুলিতে নিরাপদে ব্যবহার করা যায় percent-encoding ছাড়াই।
আমার ডিকোড করা আউটপুট কেন গিবেরিশের মতো দেখায়? যদি মূল ডেটা বাইনারি হয় (যেমন একটি ইমেজ, PDF, বা কম্প্রেসড ফাইল), তাহলে ডিকোড করা আউটপুট পঠনযোগ্য পাঠ হবে না। সেই ক্ষেত্রে, Base64 স্ট্রিং একটি বাইনারি ফাইলের প্রতিনিধিত্ব করে, পাঠ স্ট্রিং নয়।
Base64 কি এনক্রিপশনের একটি রূপ? না। Base64 একটি এনকোডিং স্কিম, এনক্রিপশন নয়। যে কেউ একটি কী ছাড়াই Base64 স্ট্রিং ডিকোড করতে পারে। এটি সংবেদনশীল ডেটা সুরক্ষিত করার জন্য কখনই ব্যবহার করা উচিত নয় — সেই জন্য সঠিক এনক্রিপশন ব্যবহার করুন।
Keywords: robots.txt জেনারেটর, robots.txt ফাইল, ক্রলার ব্লক করুন, বট ব্লক করুন, SEO রোবট, sitemap রোবট, ওয়েব ক্রলার নিয়ম