سازنده فایل Robots.txt
robots.txt چیست؟
robots.txt یک فایل متنی است که در ریشه وبسایت شما قرار میگیرد (مثلاً https://example.com/robots.txt) و به خزندههای وب میگوید که به کدام صفحات یا بخشها میتوانند یا نمیتوانند دسترسی داشته باشند. این فایل بخشی از Robots Exclusion Protocol است. در حالی که رباتهای موتور جستجو معمولاً آن را رعایت میکنند، رباتهای مخرب ممکن است آن را نادیده بگیرند. از آن برای جلوگیری از خزش صفحات تکراری، مناطق مدیریت و بخشهای خصوصی استفاده کنید.
نحوه استفاده از سازنده Robots.txt
-
یک پیشتنظیم انتخاب کنید یا با کلیک روی '+ افزودن قانون' از صفر شروع کنید.
-
فیلد User-agent را برای هدف قرار دادن یک ربات خاص تنظیم کنید (از * برای همه رباتها استفاده کنید).
-
مسیرهای Disallow برای صفحاتی که نمیخواهید خزش شوند و مسیرهای Allow برای استثناها اضافه کنید.
-
به صورت اختیاری Crawl-delay (بر حسب ثانیه) برای کند کردن خزندههای تهاجمی تنظیم کنید.
-
URL نقشه سایت خود را در پایین اضافه کنید.
-
خروجی را کپی کرده و به عنوان robots.txt در دایرکتوری ریشه وبسایت خود ذخیره کنید.
سوالات متداول
آیا رمزگشایی دادههای حساس در اینجا ایمن است؟ بله. تمام رمزگشایی در مرورگر شما با استفاده از JavaScript انجام میشود. هیچ دادهای به سرور منتقل نمیشود، بنابراین رشتههای کدگذاری شده شما کاملاً خصوصی میمانند.
تفاوت بین Base64 و URL-safe Base64 چیست؟ Base64 استاندارد از کاراکترهای + و / استفاده میکند که کاراکترهای خاصی در URL هستند. URL-safe Base64 آنها را با - و _ جایگزین میکند تا رشته بتواند در URLها و نامهای فایل بدون percent-encoding با ایمنی استفاده شود.
چرا خروجی رمزگشایی شده من مثل متن بیمعنی به نظر میرسد؟ اگر داده اصلی دودویی بود (مثل تصویر، PDF، یا فایل فشرده)، خروجی رمزگشایی شده متن خوانایی نخواهد بود. در این صورت، رشته Base64 نمایانگر یک فایل دودویی است، نه رشته متنی.
آیا Base64 نوعی از رمزنگاری است؟ خیر. Base64 یک طرح کدگذاری است، نه رمزنگاری. هر کسی میتواند یک رشته Base64 را بدون کلید رمزگشایی کند. هرگز نباید برای حفاظت از دادههای حساس استفاده شود — از رمزنگاری مناسب برای آن استفاده کنید.
Keywords: سازنده robots.txt، فایل robots.txt، مسدود کردن خزندهها، مسدود کردن رباتها، رباتهای SEO، رباتهای sitemap، قوانین خزنده وب