Rastrejadors d'IA bloquejats a la vora

Què comprova aquesta auditoria

Demana la teva portada dues vegades, identificant-se amb les cadenes de user agent exactes que publiquen OpenAI i Anthropic per a GPTBot i ClaudeBot. La comprovació falla quan qualsevol de les dues peticions rep HTTP 401, 403 o 429, o una pàgina de desafiament 503 de Cloudflare.

Si la resposta porta capçaleres de Cloudflare, la troballa anomena Cloudflare; si no, diu “WAF/CDN” perquè sàpigues que cal mirar el tallafoc o el plugin de seguretat.

És una troballa major: anul·la tota la resta del mòdul de llegibilitat IA. Un Allow: / a robots.txt no serveix de res si al rastrejador li tanquen la porta abans de poder llegir el fitxer.

Per què importa

robots.txt és una petició. Un 403 és un mur.

Els rastrejadors d’IA que es comporten bé llegeixen primer robots.txt i el respecten. Però una regla de tallafoc que filtra per user agent respon abans de servir robots.txt, així que el rastrejador mai no veu els teus permisos. Des del seu costat, el lloc simplement no està disponible.

La causa més comuna el 2026 és Cloudflare AI Crawl Control (abans “Bots”). Des de mitjans de 2025 Cloudflare bloqueja per defecte els rastrejadors d’IA coneguts a les zones noves, i molts propietaris ho van activar sense adonar-se que també els treu de les cites de ChatGPT, Claude i Perplexity. Altres causes:

Bot Fight Mode / Super Bot Fight Mode de Cloudflare
Regles WAF personalitzades que coincideixen amb GPTBot, ClaudeBot o la paraula bot
Plugins de seguretat de WordPress (Wordfence, Shield Security, All In One WP Security) amb opcions de “bloquejar bots d’IA”
Regles de user agent a nginx / Apache copiades d’algun snippet de “bloquejar scrapers d’IA”

Si bloquejar els rastrejadors d’IA és una decisió deliberada, aquesta troballa confirma que funciona. Si vols que els motors de respostes et citin, és el primer que cal arreglar.

Com solucionar-ho

Cloudflare

Obre el teu domini al tauler de Cloudflare i entra a AI Crawl Control (comptes antics: Security → Bots).
Desactiva Block AI bots, o deixa’l activat i posa GPTBot i ClaudeBot a Allow a la llista de rastrejadors.
Si també fas servir Bot Fight Mode, comprova que no els llança desafiaments. Super Bot Fight Mode permet deixar passar els “verified bots”; tots dos rastrejadors són a la llista verificada de Cloudflare.

Plugins de seguretat de WordPress

Busca una opció tipus “Block AI bots”, “Block AI scrapers” o “Bad bots” i treu GPTBot i ClaudeBot de la llista.

nginx / Apache

# Remove or narrow rules like this one
if ($http_user_agent ~* (GPTBot|ClaudeBot)) {
  return 403;
}

Verificar

curl -sI -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.2; +https://openai.com/gptbot" https://yourdomain.com/ | head -1
curl -sI -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)" https://yourdomain.com/ | head -1

Totes dues haurien de retornar HTTP/2 200. Després torna a llançar l’auditoria.

Preguntes freqüents

El meu robots.txt permet GPTBot. Per què continua fallant l’auditoria?

Perquè el bloqueig passa una capa abans. El rastrejador demana una pàgina, el tallafoc respon 403 i robots.txt mai no s’arriba a llegir. Arregla primer el tallafoc; la regla de robots.txt es comprova a part a Permet els rastrejadors d’IA.

Això també afecta Googlebot?

No. Cloudflare i la majoria de plugins tracten Googlebot i Bingbot com a rastrejadors de cerca verificats i els deixen en pau. Aquesta comprovació només sondeja els dos rastrejadors d’IA principals.

Puc permetre les cites de ChatGPT però bloquejar l’entrenament?

En part. OpenAI fa servir GPTBot per entrenar i OAI-SearchBot / ChatGPT-User per a cerca i navegació. Permet aquests dos a la vora i mantén GPTBot bloquejat a robots.txt si aquesta és la teva intenció. Anthropic fa servir ClaudeBot per a totes dues coses.