Generador de robots.txt
Crea robots.txt de forma visual con varios grupos de User-agent, reglas Allow / Disallow, sitemaps y opciones avanzadas.
Generador de robots.txt
El generador de robots.txt te ayuda a construir reglas de rastreo con un editor visual, incluyendo varios grupos de User-agent, rutas Allow / Disallow, sitemaps, Host y Crawl-delay. Resulta útil para lanzamientos, cambios SEO y migraciones.
Cómo usarlo
- Elige un preset o crea tus propios grupos de reglas.
- Introduce los User-agent y añade rutas Allow o Disallow a cada grupo.
- Agrega líneas Sitemap y, si hace falta, valores Host o Crawl-delay.
- Revisa el archivo final y copia o descarga el robots.txt generado.
Características
- Soporta varios grupos de rastreo y directivas avanzadas
- Incluye presets rápidos para patrones habituales
- Genera el archivo localmente y en tiempo real
Por qué usarlo
- Evitar errores de formato al escribir robots.txt a mano
- Gestionar más rápido políticas para distintos rastreadores
- Revisar reglas de lanzamiento, SEO o migración en un solo lugar