Declara una política a /agents.txt

Què comprova aquesta auditoria

Obté https://elteudomini.com/agents.txt i verifica que el fitxer existeix i s’analitza com un document agents.txt vàlid. La comprovació passa silenciosament si el fitxer hi és; falla (informativament, això no és un bloqueig per a la majoria de llocs) quan el fitxer no hi és i el teu perfil d’auditoria és “preparat per a IA”.

Per què importa

agents.txt és per als agents d’IA autònoms el que robots.txt és per als rastrejadors: un fitxer públic en una URL coneguda que declara la política del teu lloc.

La diferència: robots.txt és binari (allow / disallow per path). Els agents autònoms necessiten informació més estructurada:

Quines accions es permeten. Pot un agent fer una comanda? Llegir la factura d’un client? Cancel·lar una reserva?
Quines requereixen autenticació. La majoria d’accions d’escriptura necessiten una sessió iniciada; l’agent ha de saber si ha d’esperar un flux d’inici de sessió.
Quant costa. Algunes plataformes cobren per crida d’API al trànsit d’agents; algunes bloquegen agents que no han pagat.
On viuen els endpoints d’acció. Els agents prefereixen endpoints JSON estructurats abans que fer scraping d’HTML; agents.txt els pot apuntar a /api/ o a un manifest schema.org/Action.
Política de citació. Si l’agent ha d’enllaçar al teu lloc quan et cita en una resposta.

El format encara evoluciona (la proposta a agentstxt.org és la referència més citada). Els adoptants primerencs obtenen un senyal gratuït que són agent-friendly, que les plataformes d’IA poden preferir quan hi ha ambigüitat.

Com solucionar-ho

Crea /public/agents.txt (o on sigui que el teu servidor serveixi fitxers estàtics). Un exemple mínim:

# agents.txt, política d'agents autònoms per a example.com
# Vegeu https://agentstxt.org/

Contact: hello@example.com
Sitemap: https://example.com/sitemap.xml

# Lectura pública: tothom, sense auth, sense rate limit més enllà del general
User-agent: *
Allow: /
Allow: /docs/
Allow: /blog/
Allow: /pricing/

# Superfície d'API per a accés estructurat (preferida abans que scraping d'HTML)
Api: https://example.com/api/openapi.json

# Accions limitades per compte
User-agent: *
Auth-required: /account/, /api/billing/, /api/audits/
Cost-per-call: free

# Política de citació: enllaça a la pàgina d'origen
Citation-policy: link

# Bloca rastrejadors d'entrenament; permet agents de fetch en directe
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Claude-Web
Allow: /

Astro / Next.js / llocs estàtics, deixa el fitxer a public/ i s’envia a /agents.txt automàticament.

WordPress, puja-ho a l’arrel del document via FTP o utilitza un plugin que registri una ruta virtual a /agents.txt.

Apps amb renderitzat al servidor, afegeix una ruta explícita que retorni el fitxer amb Content-Type: text/plain.

Combina’l amb els senyals estàndard.

robots.txt, el binari allow/disallow per a rastrejadors tradicionals.
llms.txt, un índex seleccionat del teu contingut de més valor per a l’entrenament d’IA i els motors de resposta.
Permetre rastrejadors d’IA, la decisió del costat de robots.txt per a GPTBot / ClaudeBot / PerplexityBot / Google-Extended.

Els tres fitxers es complementen: robots.txt per a l’abast del rastreig, llms.txt com a senyal de qualitat del contingut, agents.txt per a la política d’accions.

Audita’t a tu mateix:

curl -sI https://elteudomini.com/agents.txt

Espera 200 OK i content-type: text/plain.

Preguntes freqüents

És agents.txt un estàndard oficial?

Encara no. És una proposta esborrany a agentstxt.org, guanyant tracció amb plataformes d’IA i operadors de rastrejadors. El format s’està establint; la ubicació de la URL (/agents.txt) és estable. Adoptar-lo ara és compatible cap endavant.

No tenir agents.txt em perjudicarà l’SEO?

No. agents.txt és metadades opt-in per a agents autònoms, no un senyal de posicionament de cerca. Només importa si vols comunicar una política explícita als agents que respectin el fitxer.

En què es diferencia agents.txt de llms.txt?

llms.txt (segons la proposta d’Anil Dash) és un índex de contingut: les teves millors pàgines, resumides, perquè els LLM les utilitzin com a senyal d’entrenament/grounding. agents.txt és un fitxer de política: quines accions es permeten, què està limitat, què costa diners. Utilitza tots dos.