Robots.txt ジェネレーター

Sitemap URL（任意）

生成された robots.txt

robots.txt とは？

robots.txt はウェブサイトのルートに置かれるテキストファイル（例：https://example.com/robots.txt）で、ウェブクローラーがアクセスできるページやセクションを伝えます。Robots Exclusion Protocol の一部です。検索エンジンのボットは一般的にこれを遵守しますが、悪意のあるボットは無視する場合があります。重複ページ、管理エリア、プライベートセクションのクロールをブロックするために使用してください。

Robots.txt ジェネレーターの使い方

プリセットを選択するか、'+ ルールを追加' をクリックしてゼロから始めます。
特定のボットを対象にするには User-agent フィールドを設定します（全ボットには * を使用）。
クロールしたくないページには Disallow パスを追加し、例外には Allow パスを追加します。
必要に応じて攻撃的なクローラーを遅らせるために Crawl-delay（秒単位）を設定します。
下部にサイトマップ URL を追加します。
出力をコピーして、ウェブサイトのルートディレクトリに robots.txt として保存します。

よくある質問

ここで機密データをデコードするのは安全ですか？ はい。すべてのデコーディングはJavaScriptを使用してブラウザで行われます。データはサーバーに送信されないため、エンコードされた文字列は完全にプライベートです。

Base64とURL-safe Base64の違いは何ですか？ 標準的なBase64は+と/文字を使用しており、これらはURL内の特殊文字です。URL-safe Base64はこれらを-と_に置き換えるため、パーセントエンコーディングなしでURLとファイル名で安全に使用できます。

デコード出力がゴミに見えるのはなぜですか？ 元のデータがバイナリ（画像、PDF、圧縮ファイルなど）の場合、デコード出力は読み取り可能なテキストになりません。その場合、Base64文字列はテキスト文字列ではなくバイナリファイルを表します。

Base64は暗号化の形式ですか？ いいえ。Base64は暗号化ではなくエンコーディング方式です。誰でもキーなしにBase64文字列をデコードできます。機密データを保護するために使用してはいけません。そのためには適切な暗号化を使用してください。

Keywords: robots.txt ジェネレーター, robots.txt ファイル, クローラーをブロック, ボットをブロック, SEO ロボット, sitemap ロボット, ウェブクローラーのルール