DevTulz Online

Генератор Robots.txt

Шта је robots.txt?

robots.txt је текстуална датотека смештена у корен вашег веб сајта (нпр. https://example.com/robots.txt) која говори веб пузачима којим страницама или одељцима могу или не могу приступити. Она је dio Robots Exclusion Protocol. Иако је роботи претраживача генерално поштују, злонамерни ботови је могу игнорисати. Користите је за блокирање дупликат страница, административних области и приватних одељака од обилажења.

Како користити Генератор Robots.txt

  1. Изаберите унапред постављену конфигурацију или почните од нуле кликом на '+ Додај правило'.

  2. Поставите поље User-agent за циљање одређеног бота (користите * за све ботове).

  3. Додајте путање Disallow за странице које не желите да буду обиђене и путање Allow за изузетке.

  4. По жељи поставите Crawl-delay (у секундама) за успоравање агресивних пузача.

  5. Додајте URL карте сајта на дну.

  6. Копирајте излаз и сачувајте га као robots.txt у коренском директоријуму вашег веб сајта.

Često postavljana pitanja

Je li sigurno dekodirati osjetljive podatke ovdje? Da. Svo dekodiranje se odvija u vašem pregledniku koristeći JavaScript. Nijedan podatak se ne šalje na nijedan server, tako da vaši kodirani nizovi ostaju potpuno privatni.

Koja je razlika između Base64 i URL-sigurnog Base64? Standardni Base64 koristi znakove + i /, koji su specijalni znakovi u URL-ovima. URL-sigurni Base64 zamjenjuje ih sa - i _ kako bi se niz mogao sigurno koristiti u URL-ovima i nazivima datoteka bez kodiranja postotkom.

Zašto moj dekodirani izlaz izgleda kao besmislica? Ako su originalni podaci bili binarni (kao što je slika, PDF ili komprimirana datoteka), dekodirani izlaz neće biti čitljiv tekst. U tom slučaju, niz Base64 predstavlja binarnu datoteku, ne tekstualni niz.

Je li Base64 oblik enkripcije? Ne. Base64 je shema kodiranja, ne enkripcija. Svako može dekodirati niz Base64 bez ključa. Nikada se ne bi trebalo koristiti za zaštitu osjetljivih podataka — koristite pravu enkripciju za to.

Keywords: генератор robots.txt, датотека robots.txt, блокирање пузача, блокирање ботова, SEO роботи, sitemap роботи, правила веб пузача