Generador de Robots.txt
¿Qué es robots.txt?
robots.txt es un archivo de texto colocado en la raíz de tu sitio web (p. ej. https://example.com/robots.txt) que indica a los rastreadores web qué páginas o secciones pueden o no pueden acceder. Forma parte del Robots Exclusion Protocol. Aunque los bots de motores de búsqueda generalmente lo respetan, los bots maliciosos pueden ignorarlo. Úsalo para bloquear páginas duplicadas, áreas de administración y secciones privadas del rastreo.
Cómo usar el Generador de Robots.txt
-
Elige una configuración predefinida o empieza desde cero haciendo clic en '+ Añadir regla'.
-
Establece el campo User-agent para apuntar a un bot específico (usa * para todos los bots).
-
Añade rutas Disallow para páginas que no quieres que sean rastreadas y rutas Allow para excepciones.
-
Opcionalmente establece un Crawl-delay (en segundos) para ralentizar los rastreadores agresivos.
-
Añade la URL de tu mapa del sitio en la parte inferior.
-
Copia el resultado y guárdalo como robots.txt en el directorio raíz de tu sitio web.
Keywords: generador robots.txt, archivo robots.txt, bloquear rastreadores, bloquear bots, robots SEO, robots sitemap, reglas rastreador web