DevTulz Online

Generador de Robots.txt

¿Qué es robots.txt?

robots.txt es un archivo de texto colocado en la raíz de tu sitio web (p. ej. https://example.com/robots.txt) que indica a los rastreadores web qué páginas o secciones pueden o no pueden acceder. Forma parte del Robots Exclusion Protocol. Aunque los bots de motores de búsqueda generalmente lo respetan, los bots maliciosos pueden ignorarlo. Úsalo para bloquear páginas duplicadas, áreas de administración y secciones privadas del rastreo.

Cómo usar el Generador de Robots.txt

  1. Elige una configuración predefinida o empieza desde cero haciendo clic en '+ Añadir regla'.

  2. Establece el campo User-agent para apuntar a un bot específico (usa * para todos los bots).

  3. Añade rutas Disallow para páginas que no quieres que sean rastreadas y rutas Allow para excepciones.

  4. Opcionalmente establece un Crawl-delay (en segundos) para ralentizar los rastreadores agresivos.

  5. Añade la URL de tu mapa del sitio en la parte inferior.

  6. Copia el resultado y guárdalo como robots.txt en el directorio raíz de tu sitio web.

Preguntas Frecuentes

¿Es seguro decodificar datos sensibles aquí? Sí. Toda la decodificación ocurre en tu navegador usando JavaScript. No se transmiten datos a ningún servidor, por lo que tus cadenas codificadas permanecen completamente privadas.

¿Cuál es la diferencia entre Base64 y URL-safe Base64? Base64 estándar usa caracteres + y /, que son caracteres especiales en URLs. URL-safe Base64 los reemplaza con - y _ para que la cadena se pueda usar de forma segura en URLs y nombres de archivo sin codificación de porcentaje.

¿Por qué mi salida decodificada parece galimatías? Si los datos originales eran binarios (como una imagen, PDF o archivo comprimido), la salida decodificada no será texto legible. En ese caso, la cadena Base64 representa un archivo binario, no una cadena de texto.

¿Es Base64 una forma de cifrado? No. Base64 es un esquema de codificación, no cifrado. Cualquiera puede decodificar una cadena Base64 sin una clave. Nunca debe usarse para proteger datos sensibles; use cifrado adecuado para eso.

Keywords: generador robots.txt, archivo robots.txt, bloquear rastreadores, bloquear bots, robots SEO, robots sitemap, reglas rastreador web