Generator Robots.txt
Što je robots.txt?
robots.txt je tekstualna datoteka smještena u korijenu vašeg web mjesta (npr. https://example.com/robots.txt) koja govori web pretraživačima kojim stranicama ili odjeljcima mogu ili ne mogu pristupiti. Dio je Robots Exclusion Protocol. Dok ga roboti tražilica općenito poštuju, zlonamjerni botovi ga mogu zanemariti. Koristite ga za blokiranje dupliciranih stranica, administrativnih područja i privatnih odjeljaka od indeksiranja.
Kako koristiti Generator Robots.txt
-
Odaberite unaprijed postavljenu opciju ili počnite ispočetka klikom na '+ Dodaj pravilo'.
-
Postavite polje User-agent za ciljanje određenog bota (koristite * za sve botove).
-
Dodajte putanje Disallow za stranice koje ne želite indeksirati, i putanje Allow za iznimke.
-
Po želji postavite Crawl-delay (u sekundama) za usporavanje agresivnih pretraživača.
-
Dodajte URL karte svog web mjesta na dnu.
-
Kopirajte izlaz i spremite ga kao robots.txt u korijenom direktoriju vašeg web mjesta.
Keywords: generator robots.txt, datoteka robots.txt, blokiraj pretraživače, blokiraj botove, SEO roboti, sitemap roboti, pravila web pretraživača