robots.txt 產生器
以視覺化方式產生 robots.txt,支援多組 User-agent、Allow / Disallow、Sitemap 與進階欄位。
robots.txt 產生器
robots.txt 產生器可透過視覺化表單快速建立網站抓取規則,包括多組 User-agent、Allow / Disallow、Sitemap、Host 與 Crawl-delay。適合新站部署、SEO 調整與遷移前檢查。
如何使用?
- 選擇預設模板或新增規則組。
- 填寫 User-agent,並為每組加入 Allow / Disallow 路徑。
- 依需求補上 Sitemap、Host 與 Crawl-delay。
- 在右側預覽結果,複製或下載 robots.txt。
工具特性
- 支援多組抓取規則與進階欄位
- 預設模板可快速套用常見情境
- 本地即時產生 robots.txt,不需伺服器參與
為什麼使用?
- 降低手寫 robots.txt 的格式錯誤風險
- 更快管理不同爬蟲的抓取策略
- 方便在 SEO、遷移與上線前統一檢查