Dichiara una policy in /agents.txt

Cosa controlla questo check

Recupera https://yourdomain.com/agents.txt e verifica che il file esista e parsi come un documento agents.txt valido. Il check passa silenziosamente se il file è presente; fallisce (a titolo informativo — non è un blocker per la maggior parte dei siti) quando il file è mancante e il tuo profilo di audit è “AI-ready”.

Perché è importante

agents.txt sta agli agenti AI autonomi come robots.txt sta ai crawler — un file pubblico a un URL ben noto che dichiara la policy del tuo sito.

La differenza: robots.txt è binario (allow / disallow per path). Gli agenti autonomi hanno bisogno di informazioni più strutturate:

• Quali azioni sono permesse. Un agente può piazzare un ordine? Leggere la fattura di un cliente? Cancellare una prenotazione?
• Quali richiedono autenticazione. La maggior parte delle azioni di scrittura richiede una sessione loggata; l’agente deve sapere se aspettarsi un flusso di sign-in.
• Quanto costa. Alcune piattaforme addebitano per chiamata API per il traffico degli agenti; alcune bloccano gli agenti che non hanno pagato.
• Dove sono gli endpoint d’azione. Gli agenti preferiscono endpoint JSON strutturati allo scraping HTML — agents.txt può puntarli a /api/ o a un manifest schema.org/Action.
• Policy di citazione. Se l’agente debba linkare al tuo sito quando ti cita in una risposta.

Il formato è ancora in evoluzione (la proposta agentstxt.org è il riferimento più citato). Gli early adopter ottengono un segnale gratuito di essere agent-friendly, che le piattaforme AI possono preferire quando c’è ambiguità.

Come risolvere

Crea /public/agents.txt (o ovunque il tuo server serva file statici). Un esempio minimo:

# agents.txt — autonomous-agent policy for example.com
# See https://agentstxt.org/

Contact: hello@example.com
Sitemap: https://example.com/sitemap.xml

# Public read: anyone, no auth, no rate limit beyond the sitewide one
User-agent: *
Allow: /
Allow: /docs/
Allow: /blog/
Allow: /pricing/

# API surface for structured access (preferred over HTML scraping)
Api: https://example.com/api/openapi.json

# Account-gated actions
User-agent: *
Auth-required: /account/, /api/billing/, /api/audits/
Cost-per-call: free

# Citation policy: link back to the source page
Citation-policy: link

# Block training crawlers; allow live-fetch agents
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Claude-Web
Allow: /

Astro / Next.js / siti statici — metti il file in public/ e viene servito a /agents.txt automaticamente.

WordPress — carica nella document root via FTP o usa un plugin che registri una rotta virtuale a /agents.txt.

App server-rendered — aggiungi una rotta esplicita che restituisca il file con Content-Type: text/plain.

Affiancalo ai segnali standard.

• robots.txt — l’allow/disallow binario per i crawler tradizionali.
• llms.txt — un indice curato dei tuoi contenuti di maggior valore per il training AI e gli answer engine.
• Permettere crawler AI — la decisione lato robots.txt per GPTBot / ClaudeBot / PerplexityBot / Google-Extended.

I tre file si complementano: robots.txt per lo scope di crawl, llms.txt per il segnale di qualità del contenuto, agents.txt per la policy d’azione.

Verifica tu stesso:

curl -sI https://yourdomain.com/agents.txt

Aspettati 200 OK e content-type: text/plain.

Domande frequenti

agents.txt è uno standard ufficiale?

Non ancora. È una proposta in bozza su agentstxt.org, che sta guadagnando trazione con piattaforme AI e operatori di crawler. Il formato si sta stabilizzando; la posizione URL (/agents.txt) è stabile. Adottarlo ora è forward-compatible.

Non avere agents.txt danneggia la mia SEO?

No. agents.txt è metadati opt-in per agenti autonomi, non un segnale di ranking di ricerca. Conta solo se vuoi comunicare una policy esplicita agli agenti che rispettano il file.

In cosa agents.txt è diverso da llms.txt?

llms.txt (per la proposta di Anil Dash) è un indice di contenuto — le tue pagine migliori, riassunte, da usare come segnale di training/grounding per gli LLM. agents.txt è un file di policy — quali azioni sono permesse, cosa è gated, cosa costa. Usa entrambi.