Robots IA bloqués en périphérie

Ce que vérifie ce contrôle

Demande votre page d’accueil deux fois, en s’identifiant avec les chaînes user agent exactes publiées par OpenAI et Anthropic pour GPTBot et ClaudeBot. Le contrôle échoue lorsque l’une des deux requêtes reçoit HTTP 401, 403 ou 429, ou une page de challenge 503 de Cloudflare.

Si la réponse porte des en-têtes Cloudflare, le constat nomme Cloudflare ; sinon il indique “WAF/CDN” pour que vous sachiez qu’il faut regarder le pare-feu ou le plugin de sécurité.

C’est un constat majeur : il prime sur tout le reste du module lisibilité IA. Un Allow: / dans robots.txt ne sert à rien si le robot est refoulé avant de pouvoir lire le fichier.

Pourquoi c’est important

robots.txt est une demande. Un 403 est un mur.

Les robots IA bien élevés lisent d’abord robots.txt et le respectent. Mais une règle de pare-feu qui filtre sur le user agent répond avant que robots.txt ne soit servi, le robot ne voit donc jamais vos autorisations. De son côté, le site est simplement inaccessible.

La cause la plus fréquente en 2026 est Cloudflare AI Crawl Control (anciennement “Bots”). Depuis mi-2025, Cloudflare bloque par défaut les robots IA connus sur les nouvelles zones, et beaucoup de propriétaires l’ont activé sans réaliser que cela les retire aussi des citations de ChatGPT, Claude et Perplexity. Autres causes :

• Bot Fight Mode / Super Bot Fight Mode de Cloudflare
• Règles WAF personnalisées ciblant GPTBot, ClaudeBot ou le mot bot
• Plugins de sécurité WordPress (Wordfence, Shield Security, All In One WP Security) avec une option “bloquer les bots IA”
• Règles user agent nginx / Apache copiées d’un snippet “bloquer les scrapers IA”

Si bloquer les robots IA est une décision délibérée, ce constat confirme qu’elle fonctionne. Si vous voulez être cité par les moteurs de réponse, c’est la première chose à corriger.

Comment le corriger

Cloudflare

1. Ouvrez votre domaine dans le tableau de bord Cloudflare et allez dans AI Crawl Control (anciens comptes : Security → Bots).
2. Désactivez Block AI bots, ou laissez-le actif et passez GPTBot et ClaudeBot sur Allow dans la liste des robots.
3. Si vous utilisez aussi Bot Fight Mode, vérifiez qu’il ne leur impose pas de challenge. Super Bot Fight Mode permet de laisser passer les “verified bots” ; les deux robots figurent sur la liste vérifiée de Cloudflare.

Plugins de sécurité WordPress

Cherchez une option du type “Block AI bots”, “Block AI scrapers” ou “Bad bots” et retirez GPTBot et ClaudeBot de la liste.

nginx / Apache

Supprimez ou restreignez les règles de ce genre :

if ($http_user_agent ~* (GPTBot|ClaudeBot)) {
  return 403;
}

Vérifier

curl -sI -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.2; +https://openai.com/gptbot" https://yourdomain.com/ | head -1
curl -sI -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)" https://yourdomain.com/ | head -1

Les deux doivent afficher HTTP/2 200. Relancez ensuite l’audit.

Questions fréquentes

Mon robots.txt autorise GPTBot. Pourquoi l’audit échoue-t-il encore ?

Parce que le blocage intervient une couche plus tôt. Le robot demande une page, le pare-feu répond 403, et robots.txt n’est jamais lu. Corrigez d’abord le pare-feu ; la règle robots.txt est vérifiée séparément dans Autoriser les robots IA.

Cela touche-t-il aussi Googlebot ?

Non. Cloudflare et la plupart des plugins traitent Googlebot et Bingbot comme des robots de recherche vérifiés et les laissent tranquilles. Ce contrôle ne sonde que les deux principaux robots IA.

Puis-je autoriser les citations ChatGPT tout en bloquant l’entraînement ?

En partie. OpenAI utilise GPTBot pour l’entraînement et OAI-SearchBot / ChatGPT-User pour la recherche et la navigation. Autorisez ces deux derniers en périphérie et gardez GPTBot bloqué dans robots.txt si c’est votre intention. Anthropic utilise ClaudeBot pour les deux usages.