منشئ ملف Robots.txt
ما هو ملف robots.txt؟
ملف robots.txt هو ملف نصي يُوضع في جذر موقعك الإلكتروني (مثل https://example.com/robots.txt) ليخبر زواحف الويب بالصفحات أو الأقسام التي يمكنها أو لا يمكنها الوصول إليها. وهو جزء من بروتوكول Robots Exclusion Protocol. وبينما تحترمه روبوتات محركات البحث عمومًا، قد تتجاهله الروبوتات الضارة. استخدمه لمنع الزحف إلى الصفحات المكررة ومناطق الإدارة والأقسام الخاصة.
كيفية استخدام منشئ ملف Robots.txt
-
اختر إعدادًا مسبقًا أو ابدأ من الصفر بالنقر على '+ إضافة قاعدة'.
-
اضبط حقل User-agent لاستهداف روبوت معين (استخدم * لجميع الروبوتات).
-
أضف مسارات Disallow للصفحات التي لا تريد زحفها، ومسارات Allow للاستثناءات.
-
اضبط اختياريًا Crawl-delay (بالثواني) لتبطئة الزواحف المتهالكة.
-
أضف رابط خريطة الموقع في الأسفل.
-
انسخ الناتج واحفظه بصيغة robots.txt في المجلد الجذري لموقعك.
Keywords: منشئ robots.txt، ملف robots.txt، حظر الزواحف، منع الروبوتات، SEO الروبوتات، sitemap الروبوتات، قواعد زاحف الويب