Declara una política en /agents.txt

Qué comprueba esta auditoría

Pide https://tudominio.com/agents.txt y verifica que el archivo existe y parsea como un documento agents.txt válido. La comprobación pasa en silencio si el archivo está; falla (a nivel informativo, no es bloqueante para la mayoría de sitios) cuando el archivo no está y tu perfil de auditoría es “AI-ready”.

Por qué importa

agents.txt es a los agentes de IA autónomos lo que robots.txt es a los rastreadores: un archivo público en una URL conocida que declara la política de tu sitio.

La diferencia: robots.txt es binario (allow / disallow por path). Los agentes autónomos necesitan información más estructurada:

• Qué acciones se permiten. ¿Puede un agente hacer un pedido? ¿Leer la factura de un cliente? ¿Cancelar una reserva?
• Cuáles requieren autenticación. La mayoría de acciones de escritura requieren sesión iniciada; el agente tiene que saber si esperar un flujo de login.
• Qué cuesta. Algunas plataformas cobran por llamada al API el tráfico de agentes; otras bloquean a los que no han pagado.
• Dónde están los endpoints de acción. Los agentes prefieren endpoints JSON estructurados antes que scrapear HTML; agents.txt puede apuntarles a /api/ o a un manifiesto de schema.org/Action.
• Política de citación. Si el agente debe enlazar de vuelta a tu sitio cuando te cita en una respuesta.

El formato sigue evolucionando (la propuesta de agentstxt.org es la referencia más citada). Los adoptantes tempranos ganan una señal gratis de que son agent-friendly, que las plataformas de IA pueden preferir cuando hay ambigüedad.

Cómo solucionarlo

Crea /public/agents.txt (o donde tu servidor sirva los estáticos). Un ejemplo mínimo:

# agents.txt — política de agentes autónomos para example.com
# Ver https://agentstxt.org/

Contact: hello@example.com
Sitemap: https://example.com/sitemap.xml

# Lectura pública: cualquiera, sin auth, sin rate limit más allá del global
User-agent: *
Allow: /
Allow: /docs/
Allow: /blog/
Allow: /pricing/

# Superficie de API para acceso estructurado (preferido sobre scraping HTML)
Api: https://example.com/api/openapi.json

# Acciones detrás de cuenta
User-agent: *
Auth-required: /account/, /api/billing/, /api/audits/
Cost-per-call: free

# Política de citación: enlazar a la página origen
Citation-policy: link

# Bloquear crawlers de entrenamiento; permitir agentes de live-fetch
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Claude-Web
Allow: /

Astro / Next.js / sitios estáticos — pon el archivo en public/ y se sirve en /agents.txt automáticamente.

WordPress — sube al document root por FTP o usa un plugin que registre una ruta virtual en /agents.txt.

Apps renderizadas en servidor — añade una ruta explícita que devuelva el archivo con Content-Type: text/plain.

Combínalo con las señales estándar.

• robots.txt — el allow/disallow binario para rastreadores tradicionales.
• llms.txt — un índice curado de tu contenido de mayor valor para entrenamiento de IA y motores de respuestas.
• Permitir rastreadores de IA — la decisión del lado de robots.txt para GPTBot / ClaudeBot / PerplexityBot / Google-Extended.

Los tres archivos se complementan: robots.txt para alcance del crawl, llms.txt para señal de calidad de contenido, agents.txt para política de acciones.

Audítalo tú:

curl -sI https://tudominio.com/agents.txt

Espera 200 OK y content-type: text/plain.

Preguntas frecuentes

¿Es agents.txt un estándar oficial?

Aún no. Es una propuesta en borrador en agentstxt.org, ganando tracción con plataformas de IA y operadores de crawlers. El formato se está estabilizando; la URL (/agents.txt) sí es estable. Adoptarlo ahora es forward-compatible.

¿No tener agents.txt me perjudica el SEO?

No. agents.txt es metadato opt-in para agentes autónomos, no señal de ranking. Solo importa si quieres comunicar política explícita a los agentes que respetan el archivo.

¿En qué se diferencia agents.txt de llms.txt?

llms.txt (según la propuesta de Anil Dash) es un índice de contenido: tus mejores páginas, resumidas, para que los LLMs las usen como señal de entrenamiento o grounding. agents.txt es un archivo de política: qué acciones se permiten, qué está gated, qué cuesta dinero. Usa los dos.