---

מהו robots.txt?

robots.txt הוא קובץ טקסט המוצב בשורש האתר שלכם (למשל https://example.com/robots.txt) שמספר לסורקי האינטרנט אילו עמודים או סקציות הם יכולים או לא יכולים לגשת אליהן. הוא חלק מ-Robots Exclusion Protocol. בעוד בוטים של מנועי חיפוש בדרך כלל מכבדים אותו, בוטים זדוניים עשויים להתעלם ממנו. השתמשו בו כדי לחסום עמודים כפולים, אזורי ניהול וסקציות פרטיות מסריקה.

כיצד להשתמש במחולל Robots.txt

1. בחרו הגדרה מוגדרת מראש או התחילו מאפס על ידי לחיצה על '+ הוסף כלל'.

2. הגדירו את שדה User-agent לטרגוט בוט ספציפי (השתמשו ב-* לכל הבוטים).

3. הוסיפו נתיבי Disallow לעמודים שאינכם רוצים שיסרקו, ונתיבי Allow לחריגים.

4. הגדירו אופציונלית Crawl-delay (בשניות) להאטת סורקים אגרסיביים.

5. הוסיפו את URL מפת האתר שלכם בתחתית.

6. העתיקו את הפלט ושמרו אותו כ-robots.txt בתיקיית השורש של האתר שלכם.

שאלות נפוצות

האם זה בטוח לפענח נתונים רגישים כאן? כן. כל פענוח מתרחש בדפדפן שלך באמצעות JavaScript. לא נשלחים נתונים לשום שרת, כך שהמחרוזות המקודדות שלך נשארות פרטיות לחלוטין.

מה ההבדל בין Base64 ל-URL-safe Base64? Base64 סטנדרטי משתמש בתווים + ו-/, שהם תווים מיוחדים בכתובות. URL-safe Base64 מחליף אותם ב-- ו-_ כך שהמחרוזת יכולה לשמש בבטחה בכתובות ובשמות קבצים ללא קידוד אחוזים.

למה הפלט שלי שפוענח נראה כמו הבל? אם הנתונים המקוריים היו בינאריים (כגון תמונה, PDF או קובץ דחוס), הפלט שפוענח לא יהיה טקסט קריא. במקרה זה, מחרוזת Base64 מייצגת קובץ בינארי, לא מחרוזת טקסט.

האם Base64 הוא סוג של הצפנה? לא. Base64 הוא סכימת קידוד, לא הצפנה. כל אחד יכול לפענח מחרוזת Base64 ללא מפתח. לעולם לא יש להשתמש בה כדי להגן על נתונים רגישים — השתמש בהצפנה נכונה לשם כך.

Keywords: מחולל robots.txt, קובץ robots.txt, חסימת סורקים, חסימת בוטים, בוטי SEO, בוטי sitemap, כללי סורק אינטרנט