Generator Robots.txt

Sitemap URL (opțional)

robots.txt generat

Ce este robots.txt?

robots.txt este un fișier text plasat la rădăcina site-ului dvs. (de ex. https://example.com/robots.txt) care informează crawlerele web ce pagini sau secțiuni pot sau nu pot accesa. Face parte din Robots Exclusion Protocol. Deși roboții motoarelor de căutare îl respectă în general, roboții malițioși îl pot ignora. Folosiți-l pentru a bloca crawlarea paginilor duplicate, zonele de administrare și secțiunile private.

Cum să utilizați Generatorul Robots.txt

Alegeți o configurație predefinită sau începeți de la zero făcând clic pe '+ Adaugă regulă'.
Setați câmpul User-agent pentru a viza un bot specific (folosiți * pentru toți roboții).
Adăugați căi Disallow pentru paginile pe care nu doriți să fie crawlate și căi Allow pentru excepții.
Opțional, setați un Crawl-delay (în secunde) pentru a încetini crawlerele agresive.
Adăugați URL-ul hărții site-ului dvs. în partea de jos.
Copiați rezultatul și salvați-l ca robots.txt în directorul rădăcină al site-ului dvs.

Întrebări Frecvent Puse

Este sigur să decodez date sensibile aici? Da. Toate decodificarea se întâmplă în browserul dvs. folosind JavaScript. Niciun fel de date nu este transmis la niciun server, deci stringurile dvs. codificate rămân complet private.

Care este diferența dintre Base64 și Base64 sigur pentru URL? Base64 standard folosește caractere + și / care sunt caractere speciale în URL-uri. Base64 sigur pentru URL le înlocuiește cu - și _ pentru ca stringul să poată fi folosit în siguranță în URL-uri și nume de fișiere fără codificare în procente.

De ce ieșirea decodificată arată ca fleac? Dacă datele originale erau binare (cum ar fi o imagine, PDF sau fișier comprimat), ieșirea decodificată nu va fi text citibil. În acest caz, stringul Base64 reprezintă un fișier binar, nu un string de text.

Este Base64 o formă de criptare? Nu. Base64 este o schemă de codificare, nu criptare. Oricine poate decodifica un string Base64 fără o cheie. Nu ar trebui folosit niciodată pentru a proteja date sensibile — folosiți criptare adecvată pentru aceasta.

Keywords: generator robots.txt, fișier robots.txt, blocare crawlere, blocare roboți, roboți SEO, roboți sitemap, reguli crawler web