Rastreadores de IA bloqueados en el borde

Qué comprueba esta auditoría

Pide tu portada dos veces, identificándose con las cadenas de user agent exactas que publican OpenAI y Anthropic para GPTBot y ClaudeBot. La comprobación falla cuando cualquiera de las dos peticiones recibe HTTP 401, 403 o 429, o una página de desafío 503 de Cloudflare.

Si la respuesta lleva cabeceras de Cloudflare, el hallazgo nombra a Cloudflare; si no, dice “WAF/CDN” para que sepas que hay que mirar el firewall o el plugin de seguridad.

Es un hallazgo mayor: anula todo lo demás del módulo de legibilidad IA. Un Allow: / en robots.txt no sirve de nada si al rastreador le cierran la puerta antes de poder leer el archivo.

Por qué importa

robots.txt es una petición. Un 403 es un muro.

Los rastreadores de IA que se portan bien leen primero robots.txt y lo respetan. Pero una regla de firewall que filtra por user agent responde antes de servir robots.txt, así que el rastreador nunca ve tus permisos. Desde su lado, el sitio simplemente no está disponible.

La causa más común en 2026 es Cloudflare AI Crawl Control (antes “Bots”). Desde mediados de 2025 Cloudflare bloquea por defecto los rastreadores de IA conocidos en las zonas nuevas, y muchos propietarios lo activaron sin darse cuenta de que también los saca de las citas de ChatGPT, Claude y Perplexity. Otras causas:

• Bot Fight Mode / Super Bot Fight Mode de Cloudflare
• Reglas WAF personalizadas que coinciden con GPTBot, ClaudeBot o la palabra bot
• Plugins de seguridad de WordPress (Wordfence, Shield Security, All In One WP Security) con opciones de “bloquear bots de IA”
• Reglas de user agent en nginx / Apache copiadas de algún snippet de “bloquear scrapers de IA”

Si bloquear los rastreadores de IA es una decisión deliberada, este hallazgo confirma que funciona. Si quieres que los motores de respuestas te citen, es lo primero que hay que arreglar.

Cómo solucionarlo

Cloudflare

1. Abre tu dominio en el panel de Cloudflare y entra en AI Crawl Control (cuentas antiguas: Security → Bots).
2. Desactiva Block AI bots, o déjalo activado y pon GPTBot y ClaudeBot en Allow en la lista de rastreadores.
3. Si también usas Bot Fight Mode, comprueba que no les lanza desafíos. Super Bot Fight Mode permite dejar pasar a los “verified bots”; ambos rastreadores están en la lista verificada de Cloudflare.

Plugins de seguridad de WordPress

Busca una opción tipo “Block AI bots”, “Block AI scrapers” o “Bad bots” y quita GPTBot y ClaudeBot de la lista.

nginx / Apache

# Remove or narrow rules like this one
if ($http_user_agent ~* (GPTBot|ClaudeBot)) {
  return 403;
}

Verificar

curl -sI -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.2; +https://openai.com/gptbot" https://yourdomain.com/ | head -1
curl -sI -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)" https://yourdomain.com/ | head -1

Las dos deberían devolver HTTP/2 200. Después vuelve a lanzar la auditoría.

Preguntas frecuentes

Mi robots.txt permite a GPTBot. ¿Por qué sigue fallando la auditoría?

Porque el bloqueo ocurre una capa antes. El rastreador pide una página, el firewall responde 403 y robots.txt nunca llega a leerse. Arregla primero el firewall; la regla de robots.txt se comprueba aparte en Permite los rastreadores de IA.

¿Afecta esto también a Googlebot?

No. Cloudflare y la mayoría de plugins tratan a Googlebot y Bingbot como rastreadores de búsqueda verificados y los dejan en paz. Esta comprobación solo sondea los dos rastreadores de IA principales.

¿Puedo permitir las citas de ChatGPT pero bloquear el entrenamiento?

En parte. OpenAI usa GPTBot para entrenar y OAI-SearchBot / ChatGPT-User para búsqueda y navegación. Permite estos dos en el borde y mantén GPTBot bloqueado en robots.txt si esa es tu intención. Anthropic usa ClaudeBot para ambas cosas.