KI SpotlightNewsEin Token für alle KI-Bots? Bericht über neuen robots.txt-Standard ist nicht belegt
Laut hyper.ai unterstützen OpenAI, Google, Microsoft und Anthropic ein gemeinsames Opt-out-Signal. Eine Primärquelle und eine Spezifikation fehlen. Zudem widerspricht sich die Quelle selbst.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- Laut Fachpresse betreibt Anthropic die Bots ClaudeBot, Claude-SearchBot und Claude-User.
- Google-Extended ist ein robots.txt-Token, das Gemini-Training steuert, nicht die Google-Suche.
- Blockieren der Trainings-Bots entfernt Seiten laut Betreiberdokumentation nicht aus suchgestützten KI-Antworten.
- Das Robots Exclusion Protocol stammt von 1994, wurde im September 2022 als RFC 9309 formalisiert.
- Laut Quellen geben OpenAI, Perplexity und Meta an, nutzerveranlasste Fetcher dürfen robots.txt ignorieren.
Ein Token für alle KI-Bots: hyper.ai berichtet von Branchenstandard, Belege fehlen
Laut hyper.ai unterstützen OpenAI, Google, Microsoft und Anthropic einen neuen Standard auf Basis von robots.txt. Er soll KI-Scraping und -Training über ein gemeinsames Policy-Token ablehnen. Den Vorschlag soll ein Anthropic-Techniklead bei der IETF eingebracht haben. Bislang stützt sich das auf genau eine Sekundärquelle. Eine Primärquelle der Unternehmen, eine zweite Quelle oder eine Spezifikation gibt es nicht. Urheber und Umsetzungsstand bleiben damit ungeklärt.
Die Quelle widerspricht sich außerdem selbst. Überschrift und Einleitung erwecken den Eindruck, alle vier Konzerne hätten zugestimmt. Im Text übernimmt aber nur Anthropic das Signal. Google und Microsoft wollen es nach dortiger Darstellung „nächstes Jahr“ umsetzen, OpenAI „in den kommenden Monaten“. Eine verbindliche Zusage ist nicht belegt. Offen ist zudem, ob das Signal Training, Retrieval oder beides erfasst.
Als parallele Ansätze nennt hyper.ai den Standard Really Simple Licensing, der Crawler zur Zahlung bewegen soll. Außerdem erwähnt das Portal die standardmäßige Blockade von KI-Bots durch Cloudflare.
Bot für Bot: Wie der BR heute KI-Crawler aussperrt
Wie aufwendig die Lage heute ist, zeigt die robots.txt von br.de. Sie enthält einen „Nutzungsvorbehalt / Reservation of Rights (Opt-Out) ARD“, Stand 19.05.2026. Der BR sperrt darin jeden Bot einzeln: unter anderem Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot, Meta-Bots, DeepSeek-Bots und Grokbot. Jeder Anbieter hat einen eigenen Eintrag.
Genau hier setzt das Versprechen von hyper.ai an: ein einziges gemeinsames Signal statt getrennter Erklärungen je Anbieter. Diesen Vorteil stützt bislang nur hyper.ai. Unabhängig überprüfbar ist er nicht.
Was ein gemeinsames Signal nicht erledigen würde
Laut Betreiberdokumentation entfernt das Sperren der Trainings-Bots wie GPTBot, ClaudeBot, CCBot oder Google-Extended eine Seite nicht aus suchgestützten KI-Antworten. Dafür gibt es eigene Such- und Nutzer-Fetcher-Bots, etwa OAI-SearchBot und Claude-SearchBot.
Das Robots Exclusion Protocol entstand 1994 und wurde im September 2022 als RFC 9309 formalisiert. Es regelt den Zugriff nach Crawler-Name, nicht nach Zweck. Bei Mischzweck-Crawlern wie Googlebot, Bingbot und Applebot lässt sich die KI-Nutzung deshalb nur über die Suche ablehnen.
Google-Extended ist kein Crawler, sondern ein Token, das Googlebot auswertet. Es steuert Gemini-Training und -Grounding, hält Inhalte aber nicht aus AI Overviews oder AI Mode fern. Die Darstellung bei hyper.ai, Google biete bereits ähnliche Kontrollen für KI-Suchfunktionen, steht dazu im Widerspruch. Sie ist vermutlich verkürzt. Abschließend geklärt ist das nicht.
Laut Quellen erlauben mehrere Betreiber nutzerveranlassten Fetchern, robots.txt zu ignorieren, darunter OpenAI, Perplexity und Meta. Microsoft setzt bei Bing und Copilot bislang auf Meta-Tags (NOCACHE, NOARCHIVE) statt auf robots.txt-Tokens. Betreiber müssen ihre Server-Logs deshalb weiter prüfen.
