Robots.txt Generator
Was ist robots.txt?
robots.txt ist eine Textdatei im Stammverzeichnis Ihrer Website (z. B. https://example.com/robots.txt), die Web-Crawlern mitteilt, welche Seiten oder Bereiche sie aufrufen dürfen oder nicht. Sie ist Teil des Robots Exclusion Protocol. Suchmaschinen-Bots respektieren sie im Allgemeinen, bösartige Bots können sie jedoch ignorieren. Verwenden Sie sie, um doppelte Seiten, Administrationsbereiche und private Abschnitte vom Crawling auszuschließen.
So verwenden Sie den Robots.txt Generator
-
Wählen Sie eine Voreinstellung oder beginnen Sie von Grund auf, indem Sie auf '+ Regel hinzufügen' klicken.
-
Legen Sie das User-agent-Feld fest, um einen bestimmten Bot anzusprechen (verwenden Sie * für alle Bots).
-
Fügen Sie Disallow-Pfade für Seiten hinzu, die nicht gecrawlt werden sollen, und Allow-Pfade für Ausnahmen.
-
Legen Sie optional eine Crawl-delay (in Sekunden) fest, um aggressive Crawler zu verlangsamen.
-
Fügen Sie unten Ihre Sitemap-URL hinzu.
-
Kopieren Sie die Ausgabe und speichern Sie sie als robots.txt im Stammverzeichnis Ihrer Website.
Keywords: robots.txt Generator, robots.txt Datei, Crawler blockieren, Bots blockieren, SEO Robots, Sitemap Robots, Webcrawler-Regeln