KI SpotlightNewsEU-Pflicht zur Echtzeit-Überwachung von KI-Agenten lässt sich nicht belegen
Der AI Act verlangt menschliche Aufsicht bei Hochrisiko-KI. Umfragen zeigen Lücken bei Zuständigkeit und Governance, Werkzeuge gibt es bereits.
Mit KI erstellt◆ Fakten auf einen Blick
- Betreiber von Hochrisiko-KI müssen laut AI Act Art. 26 Maßnahmen treffen, damit das System gemäß Betriebsanleitung genutzt wird.
- Betreiber müssen die menschliche Aufsicht Personen mit Kompetenz, Ausbildung und Befugnis übertragen.
- Anbieter sind für die grundsätzliche Implementierung menschlicher Aufsichtswerkzeuge zuständig (Art. 16 Buchst. a i.V.m. Art. 14).
- Anbieter und Betreiber müssen ein ausreichendes Maß an KI-Kompetenz ihres Personals sicherstellen (Art. 4).
- Das KI-Büro und zuständige nationale Behörden überwachen und setzen den AI Act durch.
AI Act verlangt menschliche Aufsicht, im vorliegenden Auszug aber keine Echtzeit-Überwachung
Eine Schlagzeile behauptet, die EU verlange eine Echtzeit-Überwachung von KI-Agenten. Das vorliegende Rechtsmaterial enthält dazu nichts. Der ursprüngliche Fachartikel fehlte unter den Belegen und ließ sich deshalb nicht prüfen. Auch die Rechtsquellen liegen nur als Auszug vor. Weitergehende Details lassen sich daraus nicht ableiten.
Gesichert ist dagegen Folgendes. Betreiber von Hochrisiko-KI-Systemen müssen nach Art. 26 AI Act technische und organisatorische Maßnahmen ergreifen, damit das System gemäß Betriebsanleitung genutzt wird. Die menschliche Aufsicht übertragen sie Personen, die über Kompetenz, Ausbildung und Befugnis verfügen. Die grundsätzliche Implementierung der Aufsichtswerkzeuge liegt dagegen bei den Anbietern (Art. 16 Buchst. a in Verbindung mit Art. 14). Sie stellen Betreibern eine Betriebsanleitung bereit (Art. 13 Abs. 2).
Ob diese Pflichten greifen, entscheidet der Einsatzbereich. Die Einstufung als Hochrisiko-KI folgt Anhang III, etwa Biometrie, kritische Infrastruktur oder Bildung, nicht der Technologie „Agent“. Ein Agent wird also nicht allein deshalb Hochrisiko-KI, weil er autonom handelt.
Umfragen messen fehlende Zuständigkeit und Governance, nicht fehlende Werkzeuge
Der zweite Teil der Schlagzeile, Unternehmen fehlten Daten und Überwachung, wird durch Umfragen nur zum Teil gestützt. Laut einer Deloitte-Erhebung unter 3.235 IT- und Business-Verantwortlichen in 24 Ländern berichten nur 21 Prozent von einem ausgereiften Governance-Modell für agentische KI. Im Bericht „State of Observability 2026“ von Splunk, den Cisco am 20. Oktober veröffentlichte, gaben 38 Prozent von 2.050 Befragten an, für das Monitoring von KI keine klar definierte Verantwortung zu haben. 42 Prozent nennen als Hauptproblem, dass ein anderes Team zuständig ist. OutSystems ermittelte zusammen mit CIO Dive und KPMG: 82 Prozent der Führungskräfte glauben, beim Steuern und Überwachen von Agenten mithalten zu können. Gut vorbereitet auf die Lösung von Konflikten zwischen Agenten, Systemen und automatisierten Workflows fühlen sich aber nur 26 Prozent.
Die Lücke liegt demnach eher in der Organisation als in der Technik. Spezialisierte Observability-Plattformen wie Langfuse, Arize Phoenix, LangSmith, AgentOps, Maxim AI oder Braintrust gibt es bereits. Auch OpenTelemetry bietet Konventionen für Agenten. Deren Vokabular ist laut changegamer.ai jedoch noch als „Development“ gekennzeichnet, nicht als final.
Die Studien lassen sich nur eingeschränkt vergleichen. Stichproben, Fragen und Auftraggeber unterscheiden sich. OutSystems misst subjektive Zuversicht, Deloitte und Splunk erfassen dagegen vorhandene Strukturen. Mehrere Quellen stammen außerdem von Anbietern solcher Werkzeuge oder von Beratungen. Das gilt auch für Splunk. Dessen Manager Mark Woods sagt: „When agent observability is everyone’s job, it becomes nobody’s job.“ Dataiku behauptet, ein vollständiges Agenten-Inventar sei nach dem AI Act Voraussetzung für alles Weitere. Eine solche Inventarpflicht ist im vorliegenden Material nicht belegt.
