Le robots.txt géré par Cloudflare bloque les robots IA

Ce que vérifie ce contrôle

Recherche les marqueurs dont Cloudflare entoure les directives qu’il injecte dans /robots.txt :

# BEGIN Cloudflare Managed content
User-agent: *
Content-Signal: search=yes,ai-train=no,use=reference
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: GPTBot
Disallow: /
# END Cloudflare Managed Content

User-agent: GPTBot
Allow: /

La section gérée est jugée séparément. Le contrôle échoue lorsqu’elle contient Disallow: / pour GPTBot ou ClaudeBot. Vos propres règles sous le marqueur sont évaluées à part par Autoriser les robots IA, les deux constats vous disent donc exactement quelle couche bloque.

Le contrôle n’apparaît que lorsque les marqueurs sont présents. Les sites qui n’utilisent pas le robots.txt géré de Cloudflare ne le voient jamais.

Pourquoi c’est important

L’option “Manage AI bots’ robots.txt” de Cloudflare (dans AI Crawl Control) réécrit le fichier servi par votre origine. Elle ajoute en tête un bloc qui :

• déclare Content-Signal: ai-train=no pour tous les robots, une réserve de droits au titre de la directive européenne sur le droit d’auteur
• ajoute Disallow: / pour GPTBot, ClaudeBot, CCBot, Google-Extended, Bytespider, Amazonbot et d’autres

Beaucoup de propriétaires l’activent pour le Content Signal sans remarquer les lignes Disallow. Ils ajoutent ensuite Allow: / plus bas en supposant que cela l’emporte. Ce n’est pas fiable : les parseurs robots.txt fusionnent les groupes différemment, plusieurs robots prennent le premier groupe correspondant, et Cloudflare bloque généralement aussi ces mêmes bots en périphérie (voir Robots IA bloqués en périphérie).

Résultat : un robots.txt qui dit une chose en haut et son contraire en bas. Ce contrôle rend la moitié haute visible.

Comment le corriger

1. Ouvrez votre domaine dans le tableau de bord Cloudflare et allez dans AI Crawl Control (anciens comptes : Security → Bots).
2. Désactivez Manage AI bots’ robots.txt. Le bloc injecté disparaît en quelques minutes et votre fichier est servi tel quel.
3. Si vous voulez conserver la ligne Content-Signal, laissez l’option active et passez GPTBot et ClaudeBot sur Allow dans la liste des robots. Cloudflare retire alors leurs lignes Disallow du bloc géré.
4. Vérifiez aussi la périphérie : le même écran détermine si ces robots reçoivent un 403 avant même de lire robots.txt.

Vérifier

curl -s https://yourdomain.com/robots.txt | sed -n '/BEGIN Cloudflare/,/END Cloudflare/p'

Si le bloc a disparu, ou ne liste plus GPTBot et ClaudeBot sous Disallow: /, relancez l’audit.

Questions fréquentes

Je n’ai jamais modifié robots.txt. D’où vient ce bloc ?

De Cloudflare, pas de votre CMS. Tout ce qui se trouve entre # BEGIN Cloudflare Managed content et # END Cloudflare Managed Content est généré en périphérie et ne touche jamais le fichier de votre serveur.

Un Allow: / plus bas l’annule-t-il ?

Pas de façon fiable. La RFC 9309 dit qu’un Allow et un Disallow équivalents doivent se résoudre en Allow lors de la fusion des groupes, mais tous les robots ne fusionnent pas les groupes, et le bloc Cloudflare vient en premier. Supprimez le conflit plutôt que de compter sur le comportement du parseur.

La ligne Content-Signal est-elle nuisible ?

Non. ai-train=no est une réserve de droits, pas un blocage. Vous pouvez la garder et autoriser malgré tout GPTBot et ClaudeBot à explorer pour la recherche et les citations.