Policy in /agents.txt deklarieren

Was diese Prüfung macht

Ruft https://yourdomain.com/agents.txt ab und prüft, ob die Datei existiert und als gültiges agents.txt-Dokument parst. Die Prüfung besteht stillschweigend, wenn die Datei vorhanden ist; sie fällt durch (informativ — für die meisten Sites kein Blocker), wenn die Datei fehlt und dein Audit-Profil „AI-ready” ist.

Warum es wichtig ist

agents.txt ist für autonome KI-Agenten das, was robots.txt für Crawler ist — eine öffentliche Datei an einer bekannten URL, die die Policy deiner Site deklariert.

Der Unterschied: robots.txt ist binär (allow / disallow pro Pfad). Autonome Agenten brauchen strukturiertere Informationen:

• Welche Aktionen erlaubt sind. Darf ein Agent eine Bestellung aufgeben? Eine Kunden-Rechnung lesen? Eine Buchung stornieren?
• Welche Authentifizierung erfordern. Die meisten Schreib-Aktionen brauchen eine eingeloggte Session; der Agent muss wissen, ob er einen Sign-in-Flow erwarten soll.
• Was es kostet. Manche Plattformen verlangen pro-API-Call-Gebühren für Agenten-Traffic; manche blockieren nicht-zahlende Agenten.
• Wo die Action-Endpunkte liegen. Agenten bevorzugen strukturierte JSON-Endpunkte gegenüber HTML-Scraping — agents.txt kann sie zu /api/ oder einem schema.org/Action-Manifest leiten.
• Citation-Policy. Ob der Agent in seiner Antwort auf dich zurückverlinken soll, wenn er dich zitiert.

Das Format ist noch im Fluss (der agentstxt.org-Proposal ist die meistzitierte Referenz). Early Adopters bekommen ein freies Signal, dass sie agentenfreundlich sind, was AI-Plattformen bei Unklarheit bevorzugen können.

Wie du es behebst

Lege /public/agents.txt an (oder dort, wo dein Server statische Dateien ausliefert). Ein minimales Beispiel:

# agents.txt — Policy für autonome Agenten für example.com
# Siehe https://agentstxt.org/

Contact: hello@example.com
Sitemap: https://example.com/sitemap.xml

# Öffentliches Lesen: jeder, kein Auth, kein Rate-Limit außer dem sitewide
User-agent: *
Allow: /
Allow: /docs/
Allow: /blog/
Allow: /pricing/

# API-Oberfläche für strukturierten Zugriff (bevorzugt gegenüber HTML-Scraping)
Api: https://example.com/api/openapi.json

# Konto-gebundene Aktionen
User-agent: *
Auth-required: /account/, /api/billing/, /api/audits/
Cost-per-call: free

# Citation-Policy: Rück-Link zur Quell-Seite
Citation-policy: link

# Training-Crawler blockieren; Live-Fetch-Agenten erlauben
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Claude-Web
Allow: /

Astro / Next.js / statische Sites — die Datei nach public/ legen, sie wird automatisch unter /agents.txt ausgeliefert.

WordPress — per FTP ins Document-Root hochladen oder ein Plugin nutzen, das eine virtuelle Route unter /agents.txt registriert.

Server-gerenderte Apps — eine explizite Route hinzufügen, die die Datei mit Content-Type: text/plain zurückgibt.

Paare es mit den Standard-Signalen.

• robots.txt — die binäre Allow/Disallow für klassische Crawler.
• llms.txt — ein kuratierter Index deiner wertvollsten Inhalte für AI-Training und Antwort-Engines.
• KI-Crawler erlauben — die robots.txt-Seite der Entscheidung für GPTBot / ClaudeBot / PerplexityBot / Google-Extended.

Die drei Dateien ergänzen sich: robots.txt für Crawl-Scope, llms.txt als Content-Qualitäts-Signal, agents.txt für Action-Policy.

Selbst auditieren:

curl -sI https://yourdomain.com/agents.txt

Erwartet wird 200 OK und content-type: text/plain.

Häufig gestellte Fragen

Ist agents.txt ein offizieller Standard?

Noch nicht. Es ist ein Draft-Proposal auf agentstxt.org, der bei AI-Plattformen und Crawler-Betreibern an Zugkraft gewinnt. Das Format stabilisiert sich; der URL-Ort (/agents.txt) ist fest. Eine Adoption jetzt ist vorwärtskompatibel.

Schadet ein fehlendes agents.txt meinem SEO?

Nein. agents.txt ist Opt-in-Metadata für autonome Agenten, kein Such-Ranking-Signal. Es zählt nur, wenn du eine explizite Policy an Agenten kommunizieren willst, die die Datei respektieren.

Wie unterscheidet sich agents.txt von llms.txt?

llms.txt (gemäß dem Anil-Dash-Proposal) ist ein Content-Index — deine besten Seiten, zusammengefasst, damit LLMs sie als Training/Grounding-Signal nutzen. agents.txt ist eine Policy-Datei — welche Aktionen erlaubt sind, was gegated ist, was Geld kostet. Nutze beide.