Generador de Robots.txt

Un archivo robots.txt es un archivo de texto plano ubicado en la raíz de un sitio web (ej: example.com/robots.txt) que indica a los rastreadores web qué páginas pueden o no acceder. Sigue el estándar del Protocolo de Exclusión de Robots.

Usa este generador para construir visualmente tus reglas robots.txt. Agrega bloques de User-agent, establece directivas Allow/Disallow, incluye URLs de sitemap, luego descarga o copia el archivo generado y súbelo al directorio raíz de tu sitio.

Usa el preajuste 'Bloquear Bots IA', o agrega manualmente bloques User-agent para GPTBot, ChatGPT-User, CCBot, Google-Extended, ClaudeBot y otros rastreadores de IA con 'Disallow: /'.

'Disallow: /' bloquea al user-agent especificado de acceder a cualquier página del sitio. La barra (/) representa la raíz del sitio y todas las rutas debajo.

Crawl-delay indica a los rastreadores que esperen un número específico de segundos entre solicitudes sucesivas. No todos lo respetan — Google lo ignora, pero Bing y Yandex lo soportan.

Sí. Agregar una directiva 'Sitemap:' ayuda a los motores de búsqueda a descubrir todas tus páginas más eficientemente. Puedes incluir múltiples URLs de sitemap.

Usa el probador de URL debajo de la vista previa. Ingresa una ruta URL y selecciona un user-agent para verificar si la ruta sería permitida o bloqueada según tus reglas actuales.

'Disallow' impide que un rastreador acceda a la ruta especificada. 'Allow' permite explícitamente el acceso, útil para anular una regla Disallow más amplia. Cuando hay conflicto, la ruta más específica (más larga) tiene prioridad.

No. robots.txt es una guía, no un mecanismo de seguridad. Los rastreadores legítimos lo respetarán, pero los bots maliciosos pueden ignorarlo. Para restringir realmente el acceso, usa autenticación del lado del servidor.

El user-agent comodín (*) aplica reglas a todos los rastreadores que no tienen su propio bloque específico. Si existe un bloque específico (ej: Googlebot), ese bot seguirá su propio bloque en lugar del comodín.