robots.txt 생성기
여러 User-agent 그룹, Allow / Disallow, Sitemap, 고급 옵션을 시각적으로 구성하는 robots.txt 생성기입니다.
robots.txt 생성기
robots.txt 생성기는 여러 User-agent 그룹, Allow / Disallow 경로, Sitemap, Host, Crawl-delay를 시각적으로 구성할 수 있는 도구입니다. 사이트 오픈, SEO 조정, 이전 점검에 적합합니다.
사용 방법
- 프리셋을 선택하거나 새 규칙 그룹을 추가합니다.
- User-agent를 입력하고 각 그룹에 Allow / Disallow 경로를 설정합니다.
- 필요하면 Sitemap, Host, Crawl-delay를 추가합니다.
- 결과를 확인한 뒤 robots.txt를 복사하거나 다운로드합니다.
기능
- 여러 크롤러 그룹과 고급 지시어 지원
- 자주 쓰는 패턴을 빠르게 적용하는 프리셋 제공
- 백엔드 없이 브라우저에서 즉시 생성
왜 사용할까요?
- 손으로 작성할 때 생기기 쉬운 형식 오류를 줄일 수 있음
- 크롤러별 정책을 더 빠르게 관리할 수 있음
- SEO, 배포, 이전 전 점검을 한곳에서 수행 가능