Generador de Robots.txt
Què és robots.txt?
robots.txt és un fitxer de text col·locat a l'arrel del vostre lloc web (p. ex. https://example.com/robots.txt) que indica als rastrejadors web a quines pàgines o seccions poden o no poden accedir. Forma part del Robots Exclusion Protocol. Tot i que els robots dels motors de cerca generalment el respecten, els bots maliciosos poden ignorar-lo. Utilitzeu-lo per bloquejar el rastreig de pàgines duplicades, àrees d'administració i seccions privades.
Com usar el generador de Robots.txt
-
Trieu una configuració predefinida o comenceu des de zero fent clic a '+ Afegir regla'.
-
Establiu el camp User-agent per orientar-vos a un bot específic (useu * per a tots els bots).
-
Afegiu camins Disallow per a pàgines que no voleu que es rastregin i camins Allow per a excepcions.
-
Opcionalment, establiu un Crawl-delay (en segons) per alentir els rastrejadors agressius.
-
Afegiu la URL del mapa del lloc a la part inferior.
-
Copieu el resultat i deseu-lo com a robots.txt al directori arrel del vostre lloc web.
Keywords: generador robots.txt, fitxer robots.txt, bloquejar rastrejadors, bloquejar bots, robots SEO, robots sitemap, regles rastrejador web