سازنده فایل Robots.txt
robots.txt چیست؟
robots.txt یک فایل متنی است که در ریشه وبسایت شما قرار میگیرد (مثلاً https://example.com/robots.txt) و به خزندههای وب میگوید که به کدام صفحات یا بخشها میتوانند یا نمیتوانند دسترسی داشته باشند. این فایل بخشی از Robots Exclusion Protocol است. در حالی که رباتهای موتور جستجو معمولاً آن را رعایت میکنند، رباتهای مخرب ممکن است آن را نادیده بگیرند. از آن برای جلوگیری از خزش صفحات تکراری، مناطق مدیریت و بخشهای خصوصی استفاده کنید.
نحوه استفاده از سازنده Robots.txt
-
یک پیشتنظیم انتخاب کنید یا با کلیک روی '+ افزودن قانون' از صفر شروع کنید.
-
فیلد User-agent را برای هدف قرار دادن یک ربات خاص تنظیم کنید (از * برای همه رباتها استفاده کنید).
-
مسیرهای Disallow برای صفحاتی که نمیخواهید خزش شوند و مسیرهای Allow برای استثناها اضافه کنید.
-
به صورت اختیاری Crawl-delay (بر حسب ثانیه) برای کند کردن خزندههای تهاجمی تنظیم کنید.
-
URL نقشه سایت خود را در پایین اضافه کنید.
-
خروجی را کپی کرده و به عنوان robots.txt در دایرکتوری ریشه وبسایت خود ذخیره کنید.
Keywords: سازنده robots.txt، فایل robots.txt، مسدود کردن خزندهها، مسدود کردن رباتها، رباتهای SEO، رباتهای sitemap، قوانین خزنده وب