Generatore di Robots.txt

Sitemap URL (opzionale)

robots.txt generato

Cos'è robots.txt?

robots.txt è un file di testo collocato nella radice del tuo sito web (es. https://example.com/robots.txt) che indica ai crawler web quali pagine o sezioni possono o non possono accedere. Fa parte del Robots Exclusion Protocol. Mentre i bot dei motori di ricerca generalmente lo rispettano, i bot malintenzionati possono ignorarlo. Usalo per bloccare la scansione di pagine duplicate, aree di amministrazione e sezioni private.

Come usare il Generatore di Robots.txt

Scegli una configurazione predefinita o inizia da zero facendo clic su '+ Aggiungi regola'.
Imposta il campo User-agent per puntare a un bot specifico (usa * per tutti i bot).
Aggiungi percorsi Disallow per le pagine che non vuoi vengano scansionate e percorsi Allow per le eccezioni.
Imposta facoltativamente un Crawl-delay (in secondi) per rallentare i crawler aggressivi.
Aggiungi l'URL della tua mappa del sito in basso.
Copia l'output e salvalo come robots.txt nella directory radice del tuo sito web.

Keywords: generatore robots.txt, file robots.txt, bloccare crawler, bloccare bot, robot SEO, robot sitemap, regole crawler web