El robots.txt gestionat per Cloudflare bloqueja els rastrejadors d'IA

Què comprova aquesta auditoria

Busca els marcadors amb què Cloudflare embolcalla les directives que injecta a /robots.txt:

# BEGIN Cloudflare Managed content
User-agent: *
Content-Signal: search=yes,ai-train=no,use=reference
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: GPTBot
Disallow: /
# END Cloudflare Managed Content

# Your own rules start here
User-agent: GPTBot
Allow: /

La secció gestionada s’avalua per separat. La comprovació falla quan conté Disallow: / per a GPTBot o ClaudeBot. Les teves pròpies regles, sota el marcador, les avalua a part Permet els rastrejadors d’IA, així que les dues troballes et diuen exactament quina capa està bloquejant.

La comprovació només apareix quan existeixen els marcadors. Els llocs que no fan servir el robots.txt gestionat de Cloudflare mai no la veuen.

Per què importa

L’opció “Manage AI bots’ robots.txt” de Cloudflare (dins d’AI Crawl Control) reescriu el fitxer que serveix el teu servidor. Hi anteposa un bloc que:

• declara Content-Signal: ai-train=no per a tots els rastrejadors, una reserva de drets segons la directiva europea de copyright
• afegeix Disallow: / per a GPTBot, ClaudeBot, CCBot, Google-Extended, Bytespider, Amazonbot i altres

Molts propietaris l’activen pel Content Signal i no es fixen en les línies Disallow. Després afegeixen Allow: / més avall i donen per fet que guanya. No ho fa de manera fiable: els parsers de robots.txt combinen els grups de forma diferent, diversos rastrejadors prenen el primer grup que coincideix, i Cloudflare normalment bloqueja a més aquests mateixos bots a la vora (vegeu Rastrejadors d’IA bloquejats a la vora).

El resultat és un robots.txt que diu una cosa a dalt i la contrària a baix. Aquesta comprovació fa visible la meitat de dalt.

Com solucionar-ho

1. Obre el teu domini al tauler de Cloudflare i entra a AI Crawl Control (comptes antics: Security → Bots).
2. Desactiva Manage AI bots’ robots.txt. El bloc injectat desapareix en uns minuts i se serveix el teu fitxer tal com és.
3. Si vols conservar la línia Content-Signal, deixa l’opció activada i posa GPTBot i ClaudeBot a Allow a la llista de rastrejadors. Cloudflare treu llavors les seves línies Disallow del bloc gestionat.
4. Revisa també la vora: la mateixa pantalla controla si aquests rastrejadors reben un 403 abans d’arribar a llegir robots.txt.

Verificar

curl -s https://eldomini.com/robots.txt | sed -n '/BEGIN Cloudflare/,/END Cloudflare/p'

Si el bloc ha desaparegut, o ja no llista GPTBot i ClaudeBot sota Disallow: /, torna a llançar l’auditoria.

Preguntes freqüents

Mai no he editat robots.txt. D’on surt aquest bloc?

De Cloudflare, no del teu CMS. Tot el que hi ha entre # BEGIN Cloudflare Managed content i # END Cloudflare Managed Content es genera a la vora i mai no toca el fitxer del teu servidor.

Un Allow: / més avall ho anul·la?

No de manera fiable. L’RFC 9309 diu que, en combinar grups, un Allow i un Disallow equivalents s’haurien de resoldre com a Allow, però no tots els rastrejadors combinen grups, i el bloc de Cloudflare va primer. Elimina el conflicte en lloc de confiar en el comportament del parser.

La línia Content-Signal és perjudicial?

No. ai-train=no és una reserva de drets, no un bloqueig. Pots mantenir-la i tot i així permetre que GPTBot i ClaudeBot rastregin per a cerca i cites.