robots.txt 生成
複数の User-agent グループ、Allow / Disallow、Sitemap、詳細オプションを備えた robots.txt を視覚的に生成します。
robots.txt 生成ツール
robots.txt 生成ツールは、複数の User-agent グループ、Allow / Disallow、Sitemap、Host、Crawl-delay を視覚的に設定できるツールです。新規公開、SEO 調整、移行チェックに役立ちます。
使い方
- プリセットを選ぶか、独自のルールグループを追加します。
- User-agent を入力し、各グループに Allow / Disallow パスを設定します。
- 必要に応じて Sitemap、Host、Crawl-delay を追加します。
- 結果を確認して robots.txt をコピーまたは保存します。
特徴
- 複数グループと高度なディレクティブに対応
- よくある robots.txt パターンをプリセットで用意
- バックエンド不要でローカル生成
利用する理由
- 手書き robots.txt の書式ミスを減らせる
- クローラーごとの方針をすばやく整理できる
- 公開前や移行前のチェックをまとめて進められる