מחולל Robots.txt
מהו robots.txt?
robots.txt הוא קובץ טקסט המוצב בשורש האתר שלכם (למשל https://example.com/robots.txt) שמספר לסורקי האינטרנט אילו עמודים או סקציות הם יכולים או לא יכולים לגשת אליהן. הוא חלק מ-Robots Exclusion Protocol. בעוד בוטים של מנועי חיפוש בדרך כלל מכבדים אותו, בוטים זדוניים עשויים להתעלם ממנו. השתמשו בו כדי לחסום עמודים כפולים, אזורי ניהול וסקציות פרטיות מסריקה.
כיצד להשתמש במחולל Robots.txt
-
בחרו הגדרה מוגדרת מראש או התחילו מאפס על ידי לחיצה על '+ הוסף כלל'.
-
הגדירו את שדה User-agent לטרגוט בוט ספציפי (השתמשו ב-* לכל הבוטים).
-
הוסיפו נתיבי Disallow לעמודים שאינכם רוצים שיסרקו, ונתיבי Allow לחריגים.
-
הגדירו אופציונלית Crawl-delay (בשניות) להאטת סורקים אגרסיביים.
-
הוסיפו את URL מפת האתר שלכם בתחתית.
-
העתיקו את הפלט ושמרו אותו כ-robots.txt בתיקיית השורש של האתר שלכם.
Keywords: מחולל robots.txt, קובץ robots.txt, חסימת סורקים, חסימת בוטים, בוטי SEO, בוטי sitemap, כללי סורק אינטרנט