Generador de Robots.txt
Què és robots.txt?
robots.txt és un fitxer de text col·locat a l'arrel del vostre lloc web (p. ex. https://example.com/robots.txt) que indica als rastrejadors web a quines pàgines o seccions poden o no poden accedir. Forma part del Robots Exclusion Protocol. Tot i que els robots dels motors de cerca generalment el respecten, els bots maliciosos poden ignorar-lo. Utilitzeu-lo per bloquejar el rastreig de pàgines duplicades, àrees d'administració i seccions privades.
Com usar el generador de Robots.txt
-
Trieu una configuració predefinida o comenceu des de zero fent clic a '+ Afegir regla'.
-
Establiu el camp User-agent per orientar-vos a un bot específic (useu * per a tots els bots).
-
Afegiu camins Disallow per a pàgines que no voleu que es rastregin i camins Allow per a excepcions.
-
Opcionalment, establiu un Crawl-delay (en segons) per alentir els rastrejadors agressius.
-
Afegiu la URL del mapa del lloc a la part inferior.
-
Copieu el resultat i deseu-lo com a robots.txt al directori arrel del vostre lloc web.
Preguntes Freqüents
És segur descodificar dades sensibles aquí? Sí. Tota la descodificació es fa al vostre navegador usant JavaScript. Cap dada es transmet a cap servidor, de manera que les vostres cadenes codificades romanen completament privades.
Quina és la diferència entre Base64 i Base64 segur per a URL? Base64 estàndard utilitza els caràcters + i /, que són caràcters especials en URL. Base64 segur per a URL els reemplaça amb - i _ perquè la cadena es pugui utilitzar de manera segura en URL i noms de fitxer sense codificació de percentatge.
Per què el meu resultat descodificat sembla galimatias? Si les dades originals eren binàries (com una imatge, PDF o un fitxer comprimit), el resultat descodificat no serà text llegible. En aquest cas, la cadena Base64 representa un fitxer binari, no una cadena de text.
És Base64 una forma de xifratge? No. Base64 és un esquema de codificació, no xifratge. Qualsevol pot descodificar una cadena Base64 sense clau. Mai no s'hauria de fer servir per protegir dades sensibles — useu el xifratge adequat per a això.
Keywords: generador robots.txt, fitxer robots.txt, bloquejar rastrejadors, bloquejar bots, robots SEO, robots sitemap, regles rastrejador web