Δημιουργός Robots.txt
Τι είναι το robots.txt;
Το robots.txt είναι ένα αρχείο κειμένου που βρίσκεται στη ρίζα του ιστότοπού σας (π.χ. https://example.com/robots.txt) και ενημερώνει τους web ανιχνευτές ποιες σελίδες ή ενότητες μπορούν ή δεν μπορούν να επισκεφθούν. Αποτελεί μέρος του Robots Exclusion Protocol. Ενώ τα bots των μηχανών αναζήτησης το σέβονται γενικά, τα κακόβουλα bots μπορεί να το αγνοούν. Χρησιμοποιήστε το για να αποκλείσετε διπλές σελίδες, περιοχές διαχείρισης και ιδιωτικές ενότητες από την ανίχνευση.
Πώς να χρησιμοποιήσετε τον δημιουργό Robots.txt
-
Επιλέξτε μια προεπιλογή ή ξεκινήστε από την αρχή κάνοντας κλικ στο '+ Προσθήκη κανόνα'.
-
Ορίστε το πεδίο User-agent για να στοχεύσετε συγκεκριμένο bot (χρησιμοποιήστε * για όλα τα bots).
-
Προσθέστε διαδρομές Disallow για σελίδες που δεν θέλετε να ανιχνευθούν και διαδρομές Allow για εξαιρέσεις.
-
Προαιρετικά ορίστε Crawl-delay (σε δευτερόλεπτα) για να επιβραδύνετε επιθετικούς ανιχνευτές.
-
Προσθέστε τη διεύθυνση URL του χάρτη ιστότοπου στο κάτω μέρος.
-
Αντιγράψτε το αποτέλεσμα και αποθηκεύστε το ως robots.txt στον ριζικό κατάλογο του ιστότοπού σας.
Keywords: δημιουργός robots.txt, αρχείο robots.txt, αποκλεισμός ανιχνευτών, αποκλεισμός bots, SEO robots, sitemap robots, κανόνες web ανιχνευτή