Declara uma política em /agents.txt

O que esta verificação faz

Vai buscar https://teudominio.com/agents.txt e confirma que o ficheiro existe e é parseado como um documento agents.txt válido. A verificação passa silenciosamente se o ficheiro está presente; falha (a título informativo — não é bloqueante para a maioria dos sites) quando o ficheiro está em falta e o teu perfil de auditoria é “AI-ready.”

Porque é importante

agents.txt está para os agentes de IA autónomos como o robots.txt está para os crawlers — um ficheiro público num URL bem-conhecido que declara a política do teu site.

A diferença: o robots.txt é binário (allow / disallow por caminho). Os agentes autónomos precisam de informação mais estruturada:

• Que ações são permitidas. Pode um agente fazer uma encomenda? Ler a fatura de um cliente? Cancelar uma reserva?
• Quais exigem autenticação. A maioria das ações de escrita precisa de uma sessão iniciada; o agente precisa de saber se deve esperar um fluxo de login.
• Quanto custa. Algumas plataformas cobram por chamada de API ao tráfego de agentes; algumas bloqueiam agentes que não pagaram.
• Onde estão os endpoints de ação. Os agentes preferem endpoints JSON estruturados a fazer scraping de HTML — o agents.txt pode apontá-los para /api/ ou para um manifesto schema.org/Action.
• Política de citação. Se o agente deve linkar de volta ao teu site quando te cita numa resposta.

O formato ainda está em evolução (a proposta em agentstxt.org é a referência mais citada). Quem adota cedo ganha um sinal gratuito de que é amigo de agentes, o que as plataformas de IA podem preferir quando há ambiguidade.

Como corrigir

Cria /public/agents.txt (ou onde quer que o teu servidor sirva ficheiros estáticos). Um exemplo mínimo:

# agents.txt — política para agentes autónomos de example.com
# Ver https://agentstxt.org/

Contact: hello@example.com
Sitemap: https://example.com/sitemap.xml

# Leitura pública: qualquer um, sem auth, sem rate limit para além do global do site
User-agent: *
Allow: /
Allow: /docs/
Allow: /blog/
Allow: /pricing/

# Superfície de API para acesso estruturado (preferida ao scraping de HTML)
Api: https://example.com/api/openapi.json

# Ações com conta exigida
User-agent: *
Auth-required: /account/, /api/billing/, /api/audits/
Cost-per-call: free

# Política de citação: linka de volta à página de origem
Citation-policy: link

# Bloquear crawlers de treino; permitir agentes de live-fetch
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Claude-Web
Allow: /

Astro / Next.js / sites estáticos — coloca o ficheiro em public/ e é servido em /agents.txt automaticamente.

WordPress — carrega-o para a raiz do documento via FTP ou usa um plugin que regista uma rota virtual em /agents.txt.

Apps server-rendered — adiciona uma rota explícita que devolve o ficheiro com Content-Type: text/plain.

Combina-o com os sinais standard.

• robots.txt — o allow/disallow binário para os crawlers tradicionais.
• llms.txt — um índice curado do teu conteúdo de maior valor para treino de IA e motores de resposta.
• Permitir crawlers de IA — a decisão do lado do robots.txt para GPTBot / ClaudeBot / PerplexityBot / Google-Extended.

Os três ficheiros complementam-se: robots.txt para o âmbito do crawl, llms.txt para o sinal de qualidade do conteúdo, agents.txt para a política de ações.

Audita por ti:

curl -sI https://teudominio.com/agents.txt

Espera 200 OK e content-type: text/plain.

Perguntas frequentes

O agents.txt é um padrão oficial?

Ainda não. É uma proposta em rascunho em agentstxt.org, a ganhar tração junto de plataformas de IA e operadores de crawlers. O formato está a assentar; a localização do URL (/agents.txt) é estável. Adotar agora é forward-compatible.

Não ter agents.txt prejudica o meu SEO?

Não. O agents.txt são metadados opcionais para agentes autónomos, não um sinal de ranking de pesquisa. Só importa se quiseres comunicar política explícita a agentes que respeitem o ficheiro.

Como é o agents.txt diferente do llms.txt?

O llms.txt (segundo a proposta do Anil Dash) é um índice de conteúdo — as tuas melhores páginas, resumidas, para LLMs usarem como sinal de treino/grounding. O agents.txt é um ficheiro de política — que ações são permitidas, o que está gated, o que custa dinheiro. Usa ambos.