Générateur de Robots.txt

URL du Sitemap (optionnel)

robots.txt généré

Qu'est-ce que robots.txt ?

robots.txt est un fichier texte placé à la racine de votre site web (par ex. https://example.com/robots.txt) qui indique aux robots d'exploration web quelles pages ou sections ils peuvent ou ne peuvent pas accéder. Il fait partie du Robots Exclusion Protocol. Bien que les robots des moteurs de recherche le respectent généralement, les robots malveillants peuvent l'ignorer. Utilisez-le pour bloquer l'exploration des pages dupliquées, des zones d'administration et des sections privées.

Comment utiliser le Générateur de Robots.txt

Choisissez un modèle prédéfini ou commencez de zéro en cliquant sur '+ Ajouter une règle'.
Définissez le champ User-agent pour cibler un bot spécifique (utilisez * pour tous les robots).
Ajoutez des chemins Disallow pour les pages que vous ne voulez pas explorer, et des chemins Allow pour les exceptions.
Définissez optionnellement un Crawl-delay (en secondes) pour ralentir les robots d'exploration agressifs.
Ajoutez l'URL de votre plan de site en bas.
Copiez le résultat et enregistrez-le sous robots.txt dans le répertoire racine de votre site web.

Questions Fréquemment Posées

Est-il sûr de décoder des données sensibles ici ? Oui. Tout décodage se fait dans votre navigateur à l'aide de JavaScript. Aucune donnée n'est transmise à un serveur, donc vos chaînes codées restent complètement privées.

Quelle est la différence entre Base64 et Base64 compatible URL ? Base64 standard utilise les caractères + et /, qui sont des caractères spéciaux dans les URL. Base64 compatible URL les remplace par - et _ afin que la chaîne puisse être utilisée en toute sécurité dans les URL et les noms de fichiers sans codage en pourcentage.

Pourquoi ma sortie décodée ressemble-t-elle à du charabia ? Si les données d'origine étaient binaires (comme une image, un PDF ou un fichier compressé), la sortie décodée ne sera pas un texte lisible. Dans ce cas, la chaîne Base64 représente un fichier binaire, pas une chaîne de texte.

Base64 est-il une forme de chiffrement ? Non. Base64 est un schéma d'encodage, pas un chiffrement. N'importe qui peut décoder une chaîne Base64 sans clé. Il ne doit jamais être utilisé pour protéger les données sensibles — utilisez un chiffrement approprié pour cela.

Keywords: générateur robots.txt, fichier robots.txt, bloquer les robots, bloquer les bots, robots SEO, robots sitemap, règles robot d'exploration web