Generator Robots.txt
Što je robots.txt?
robots.txt je tekstualna datoteka smještena u korijenu vašeg web mjesta (npr. https://example.com/robots.txt) koja govori web pretraživačima kojim stranicama ili odjeljcima mogu ili ne mogu pristupiti. Dio je Robots Exclusion Protocol. Dok ga roboti tražilica općenito poštuju, zlonamjerni botovi ga mogu zanemariti. Koristite ga za blokiranje dupliciranih stranica, administrativnih područja i privatnih odjeljaka od indeksiranja.
Kako koristiti Generator Robots.txt
-
Odaberite unaprijed postavljenu opciju ili počnite ispočetka klikom na '+ Dodaj pravilo'.
-
Postavite polje User-agent za ciljanje određenog bota (koristite * za sve botove).
-
Dodajte putanje Disallow za stranice koje ne želite indeksirati, i putanje Allow za iznimke.
-
Po želji postavite Crawl-delay (u sekundama) za usporavanje agresivnih pretraživača.
-
Dodajte URL karte svog web mjesta na dnu.
-
Kopirajte izlaz i spremite ga kao robots.txt u korijenom direktoriju vašeg web mjesta.
Česta pitanja
Je li sigurno dekodirati osjetljive podatke ovdje? Da. Svo dekodiranje se provodi u vašem pregledniku pomoću JavaScripta. Nikakvi podaci se ne šalju na nikakav poslužitelj, tako da vaši kodirani nizovi ostaju potpuno privatni.
Koja je razlika između Base64 i Base64 sigurnog za URL? Standardni Base64 koristi znakove + i /, koji su posebni znakovi u URL-ovima. Base64 siguran za URL zamjenjuje ih s - i _ tako da se niz može sigurno koristiti u URL-ovima i nazivima datoteka bez kodiranja postotkom.
Zašto moj dekodiran izlaz izgleda kao besmislica? Ako su izvorni podaci bili binarni (kao što je slika, PDF ili kompresirana datoteka), dekodiran izlaz neće biti čitljiv tekst. U tom slučaju, Base64 niz predstavlja binarnu datoteku, a ne tekstualni niz.
Je li Base64 oblik enkripcije? Ne. Base64 je shema kodiranja, a ne enkripcija. Svatko može dekodirati Base64 niz bez ključa. Nikada se ne bi trebao koristiti za zaštitu osjetljivih podataka — koristite pravu enkripciju za to.
Keywords: generator robots.txt, datoteka robots.txt, blokiraj pretraživače, blokiraj botove, SEO roboti, sitemap roboti, pravila web pretraživača