Robots.txt Generator

Sitemap URL (optional)

Generierte robots.txt

Was ist robots.txt?

robots.txt ist eine Textdatei im Stammverzeichnis Ihrer Website (z. B. https://example.com/robots.txt), die Web-Crawlern mitteilt, welche Seiten oder Bereiche sie aufrufen dürfen oder nicht. Sie ist Teil des Robots Exclusion Protocol. Suchmaschinen-Bots respektieren sie im Allgemeinen, bösartige Bots können sie jedoch ignorieren. Verwenden Sie sie, um doppelte Seiten, Administrationsbereiche und private Abschnitte vom Crawling auszuschließen.

So verwenden Sie den Robots.txt Generator

Wählen Sie eine Voreinstellung oder beginnen Sie von Grund auf, indem Sie auf '+ Regel hinzufügen' klicken.
Legen Sie das User-agent-Feld fest, um einen bestimmten Bot anzusprechen (verwenden Sie * für alle Bots).
Fügen Sie Disallow-Pfade für Seiten hinzu, die nicht gecrawlt werden sollen, und Allow-Pfade für Ausnahmen.
Legen Sie optional eine Crawl-delay (in Sekunden) fest, um aggressive Crawler zu verlangsamen.
Fügen Sie unten Ihre Sitemap-URL hinzu.
Kopieren Sie die Ausgabe und speichern Sie sie als robots.txt im Stammverzeichnis Ihrer Website.

Häufig gestellte Fragen

Ist es sicher, hier sensible Daten zu dekodieren? Ja. Das gesamte Dekodieren erfolgt in Ihrem Browser mit JavaScript. Es werden keine Daten an einen Server übertragen, daher bleiben Ihre kodierten Zeichenketten völlig privat.

Was ist der Unterschied zwischen Base64 und URL-sicherem Base64? Standard Base64 verwendet die Zeichen + und /, die in URLs Sonderzeichen sind. URL-sicheres Base64 ersetzt sie durch - und _, damit die Zeichenkette sicher in URLs und Dateinamen ohne Prozentcodierung verwendet werden kann.

Warum sieht meine dekodierte Ausgabe wie Kauderwelsch aus? Wenn die ursprünglichen Daten binär waren (z. B. ein Bild, eine PDF-Datei oder eine komprimierte Datei), ist die dekodierte Ausgabe kein lesbarer Text. In diesem Fall stellt die Base64-Zeichenkette eine Binärdatei dar, keine Textzeichenkette.

Ist Base64 eine Form der Verschlüsselung? Nein. Base64 ist ein Codierungsschema, keine Verschlüsselung. Jeder kann eine Base64-Zeichenkette ohne einen Schlüssel dekodieren. Es sollte niemals verwendet werden, um sensible Daten zu schützen – verwenden Sie stattdessen ordnungsgemäße Verschlüsselung.

Keywords: robots.txt Generator, robots.txt Datei, Crawler blockieren, Bots blockieren, SEO Robots, Sitemap Robots, Webcrawler-Regeln