Robots.txt ジェネレーター
robots.txt とは？
robots.txt はウェブサイトのルートに置かれるテキストファイル（例：https://example.com/robots.txt）で、ウェブクローラーがアクセスできるページやセクションを伝えます。Robots Exclusion Protocol の一部です。検索エンジンのボットは一般的にこれを遵守しますが、悪意のあるボットは無視する場合があります。重複ページ、管理エリア、プライベートセクションのクロールをブロックするために使用してください。
Robots.txt ジェネレーターの使い方
-
プリセットを選択するか、'+ ルールを追加' をクリックしてゼロから始めます。
-
特定のボットを対象にするには User-agent フィールドを設定します（全ボットには * を使用）。
-
クロールしたくないページには Disallow パスを追加し、例外には Allow パスを追加します。
-
必要に応じて攻撃的なクローラーを遅らせるために Crawl-delay（秒単位）を設定します。
-
下部にサイトマップ URL を追加します。
-
出力をコピーして、ウェブサイトのルートディレクトリに robots.txt として保存します。
Keywords: robots.txt ジェネレーター, robots.txt ファイル, クローラーをブロック, ボットをブロック, SEO ロボット, sitemap ロボット, ウェブクローラーのルール