---

ما هو ملف robots.txt؟

ملف robots.txt هو ملف نصي يُوضع في جذر موقعك الإلكتروني (مثل https://example.com/robots.txt) ليخبر زواحف الويب بالصفحات أو الأقسام التي يمكنها أو لا يمكنها الوصول إليها. وهو جزء من بروتوكول Robots Exclusion Protocol. وبينما تحترمه روبوتات محركات البحث عمومًا، قد تتجاهله الروبوتات الضارة. استخدمه لمنع الزحف إلى الصفحات المكررة ومناطق الإدارة والأقسام الخاصة.

كيفية استخدام منشئ ملف Robots.txt

1. اختر إعدادًا مسبقًا أو ابدأ من الصفر بالنقر على '+ إضافة قاعدة'.

2. اضبط حقل User-agent لاستهداف روبوت معين (استخدم * لجميع الروبوتات).

3. أضف مسارات Disallow للصفحات التي لا تريد زحفها، ومسارات Allow للاستثناءات.

4. اضبط اختياريًا Crawl-delay (بالثواني) لتبطئة الزواحف المتهالكة.

5. أضف رابط خريطة الموقع في الأسفل.

6. انسخ الناتج واحفظه بصيغة robots.txt في المجلد الجذري لموقعك.

الأسئلة الشائعة

هل من الآمن فك ترميز البيانات الحساسة هنا؟ نعم. جميع عمليات فك الترميز تتم في متصفحك باستخدام JavaScript. لا يتم نقل أي بيانات إلى أي خادم، لذا تبقى البيانات المرمزة الخاصة بك خاصة تماماً.

ما الفرق بين Base64 و URL-safe Base64؟ يستخدم Base64 القياسي أحرف + و / ، وهي أحرف خاصة في عناوين URL. يستبدل Base64 الآمن للـ URL هذه الأحرف بـ - و _ حتى يمكن استخدام النص بأمان في عناوين URL وأسماء الملفات دون ترميز النسب المئوية.

لماذا يبدو الناتج المفكك الخاص بي وكأنه هراء؟ إذا كانت البيانات الأصلية بيانات ثنائية (مثل صورة أو PDF أو ملف مضغوط)، فإن الناتج المفكك لن يكون نصاً قابلاً للقراءة. في هذه الحالة، تمثل سلسلة Base64 ملفاً ثنائياً وليس سلسلة نصية.

هل Base64 شكل من أشكال التشفير؟ لا. Base64 هو مخطط ترميز وليس تشفير. يمكن لأي شخص فك ترميز سلسلة Base64 دون مفتاح. لا يجب استخدامه أبداً لحماية البيانات الحساسة — استخدم التشفير الصحيح لهذا الغرض.

Keywords: منشئ robots.txt، ملف robots.txt، حظر الزواحف، منع الروبوتات، SEO الروبوتات، sitemap الروبوتات، قواعد زاحف الويب