Déclarez une politique dans /agents.txt

Ce que vérifie ce contrôle

Récupère https://votredomaine.com/agents.txt et vérifie que le fichier existe et s’analyse comme un document agents.txt valide. Le contrôle passe silencieusement si le fichier est présent ; il échoue (à titre informatif — ce n’est pas bloquant pour la plupart des sites) lorsque le fichier est absent et que votre profil d’audit est « AI-ready ».

Pourquoi c’est important

agents.txt est aux agents IA autonomes ce que robots.txt est aux robots d’indexation — un fichier public à une URL bien connue qui déclare la politique de votre site.

La différence : robots.txt est binaire (allow / disallow par chemin). Les agents autonomes ont besoin d’informations plus structurées :

• Quelles actions sont autorisées. Un agent peut-il passer une commande ? Lire la facture d’un client ? Annuler une réservation ?
• Lesquelles nécessitent une authentification. La plupart des actions d’écriture exigent une session connectée ; l’agent doit savoir s’il faut s’attendre à un flux de connexion.
• Combien ça coûte. Certaines plateformes facturent par appel API pour le trafic des agents ; certaines bloquent les agents qui n’ont pas payé.
• Où vivent les endpoints d’action. Les agents préfèrent les endpoints JSON structurés au scraping HTML — agents.txt peut les pointer vers /api/ ou un manifeste schema.org/Action.
• Politique de citation. Si l’agent doit faire un lien retour vers votre site quand il vous cite dans une réponse.

Le format évolue encore (la proposition agentstxt.org est la référence la plus citée). Les premiers adoptants obtiennent un signal gratuit qu’ils sont agent-friendly, ce que les plateformes IA peuvent privilégier en cas d’ambiguïté.

Comment le corriger

Créez /public/agents.txt (ou là où votre serveur sert les fichiers statiques). Un exemple minimal :

# agents.txt — politique des agents autonomes pour example.com
# Voir https://agentstxt.org/

Contact: hello@example.com
Sitemap: https://example.com/sitemap.xml

# Lecture publique : tout le monde, sans auth, sans limite de taux au-delà de celle du site
User-agent: *
Allow: /
Allow: /docs/
Allow: /blog/
Allow: /pricing/

# Surface API pour l'accès structuré (préféré au scraping HTML)
Api: https://example.com/api/openapi.json

# Actions soumises à un compte
User-agent: *
Auth-required: /account/, /api/billing/, /api/audits/
Cost-per-call: free

# Politique de citation : lien retour vers la page source
Citation-policy: link

# Bloquer les robots d'entraînement ; autoriser les agents live-fetch
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Claude-Web
Allow: /

Astro / Next.js / sites statiques — déposez le fichier dans public/ et il est servi automatiquement à /agents.txt.

WordPress — uploadez à la racine du document via FTP ou utilisez un plugin qui enregistre une route virtuelle à /agents.txt.

Apps rendues côté serveur — ajoutez une route explicite qui retourne le fichier avec Content-Type: text/plain.

Associez-le aux signaux standards.

• robots.txt — le allow/disallow binaire pour les robots traditionnels.
• llms.txt — un index curé de votre contenu à plus forte valeur pour l’entraînement IA et les moteurs de réponse.
• Autoriser les robots IA — la décision côté robots.txt pour GPTBot / ClaudeBot / PerplexityBot / Google-Extended.

Les trois fichiers se complètent : robots.txt pour le périmètre de crawl, llms.txt pour le signal de qualité du contenu, agents.txt pour la politique d’action.

Vérifiez vous-même :

curl -sI https://votredomaine.com/agents.txt

Attendez-vous à 200 OK et content-type: text/plain.

Questions fréquentes

agents.txt est-il un standard officiel ?

Pas encore. C’est une proposition de brouillon sur agentstxt.org, qui gagne du terrain auprès des plateformes IA et des opérateurs de robots. Le format se stabilise ; l’emplacement URL (/agents.txt) est stable. L’adopter maintenant est compatible avec l’avenir.

Ne pas avoir d’agents.txt va-t-il nuire à mon SEO ?

Non. agents.txt est une métadonnée opt-in pour agents autonomes, pas un signal de classement de recherche. Cela ne compte que si vous voulez communiquer une politique explicite aux agents qui respectent le fichier.

En quoi agents.txt diffère-t-il de llms.txt ?

llms.txt (selon la proposition d’Anil Dash) est un index de contenu — vos meilleures pages, résumées, pour que les LLM les utilisent comme signal d’entraînement/ancrage. agents.txt est un fichier de politique — quelles actions sont autorisées, ce qui est restreint, ce qui coûte de l’argent. Utilisez les deux.