Generator Robots.txt
Co to jest robots.txt?
robots.txt to plik tekstowy umieszczony w głównym katalogu Twojej witryny (np. https://example.com/robots.txt), który informuje roboty sieciowe, które strony lub sekcje mogą lub nie mogą odwiedzać. Jest częścią Robots Exclusion Protocol. Chociaż boty wyszukiwarek zazwyczaj go respektują, złośliwe boty mogą go ignorować. Używaj go do blokowania indeksowania zduplikowanych stron, obszarów administracyjnych i prywatnych sekcji.
Jak używać Generatora Robots.txt
-
Wybierz preset lub zacznij od zera, klikając '+ Dodaj regułę'.
-
Ustaw pole User-agent, aby wskazać konkretnego bota (użyj * dla wszystkich botów).
-
Dodaj ścieżki Disallow dla stron, których nie chcesz indeksować, i ścieżki Allow dla wyjątków.
-
Opcjonalnie ustaw Crawl-delay (w sekundach), aby spowolnić agresywne roboty.
-
Dodaj URL mapy witryny na dole.
-
Skopiuj wynik i zapisz go jako robots.txt w głównym katalogu swojej witryny.
Keywords: generator robots.txt, plik robots.txt, blokowanie robotów, blokowanie botów, roboty SEO, roboty sitemap, reguły robota sieciowego