Generatore di Robots.txt
Cos'è robots.txt?
robots.txt è un file di testo collocato nella radice del tuo sito web (es. https://example.com/robots.txt) che indica ai crawler web quali pagine o sezioni possono o non possono accedere. Fa parte del Robots Exclusion Protocol. Mentre i bot dei motori di ricerca generalmente lo rispettano, i bot malintenzionati possono ignorarlo. Usalo per bloccare la scansione di pagine duplicate, aree di amministrazione e sezioni private.
Come usare il Generatore di Robots.txt
-
Scegli una configurazione predefinita o inizia da zero facendo clic su '+ Aggiungi regola'.
-
Imposta il campo User-agent per puntare a un bot specifico (usa * per tutti i bot).
-
Aggiungi percorsi Disallow per le pagine che non vuoi vengano scansionate e percorsi Allow per le eccezioni.
-
Imposta facoltativamente un Crawl-delay (in secondi) per rallentare i crawler aggressivi.
-
Aggiungi l'URL della tua mappa del sito in basso.
-
Copia l'output e salvalo come robots.txt nella directory radice del tuo sito web.
Domande Frequenti
È sicuro decodificare dati sensibili qui? Sì. La decodifica avviene interamente nel tuo browser utilizzando JavaScript. Nessun dato viene trasmesso a nessun server, quindi le tue stringhe codificate rimangono completamente private.
Qual è la differenza tra Base64 e URL-safe Base64? Base64 standard utilizza i caratteri + e /, che sono caratteri speciali negli URL. URL-safe Base64 li sostituisce con - e _ in modo che la stringa possa essere utilizzata in sicurezza negli URL e nei nomi di file senza codifica percentuale.
Perché il mio output decodificato sembra illeggibile? Se i dati originali erano binari (come un'immagine, PDF o file compresso), l'output decodificato non sarà testo leggibile. In quel caso, la stringa Base64 rappresenta un file binario, non una stringa di testo.
Base64 è una forma di crittografia? No. Base64 è uno schema di codifica, non crittografia. Chiunque può decodificare una stringa Base64 senza una chiave. Non dovrebbe mai essere utilizzato per proteggere dati sensibili — utilizza la crittografia appropriata per questo.
Keywords: generatore robots.txt, file robots.txt, bloccare crawler, bloccare bot, robot SEO, robot sitemap, regole crawler web