Konsistenzlücke bei KI-Agenten: Durchschnittserfolg verdeckt Zuverlässigkeitsproblem

77,4 % Durchschnitt, aber nur 53,0 % konsistent

Ein ReAct-Agent mit GPT-4.1 erreichte auf der Testumgebung AppWorld test_normal über fünf Wiederholungen eine durchschnittliche Erfolgsrate von 77,4 Prozent. Diese Zahl allein klingt solide, doch sie verdeckt ein erhebliches Zuverlässigkeitsproblem: Nur bei 53,0 Prozent der Aufgaben war der Agent in allen fünf Läufen erfolgreich. Die Differenz zwischen dem Durchschnittserfolg und dem Anteil der durchgängig erfolgreichen Aufgaben beträgt 24,4 Prozentpunkte. Auf schweren Aufgaben vergrößert sich diese Konsistenzlücke laut Herstellerangabe auf 30 Punkte.

Die Herstellerangabe beschreibt das Problem drastisch: Ein Workflow, der einmal erfolgreich war, könne beim nächsten Mal mit derselben Anfrage scheitern. Für geschäftskritische Anwendungen – etwa den Abgleich einer Finanztransaktion oder die Prüfung eines Vertrags auf Verpflichtungen – sei das ein Ausschlusskriterium. Die meisten Benchmarks verbergen diese Variabilität hinter einem Durchschnittswert: Sie berichten nur die erste Zahl, also den mittleren Erfolg über alle Läufe. Der hier vorgestellte Ansatz zielt darauf ab, genau die zweite Zahl zu messen und zu verbessern – den Anteil der Aufgaben, die bei jeder Wiederholung zuverlässig gelingen.

Damit wird sichtbar, wie oft ein Agent trotz guter Durchschnittsleistung bei konkreten Aufgaben unzuverlässig ist. Diese Unterscheidung ist zentral für den Einsatz in Produktionsumgebungen, wo einmalige Erfolge nicht ausreichen. Die Konsistenzlücke von 24,4 Prozentpunkten bedeutet konkret: Bei fast einem Viertel aller Aufgaben, die der Agent im Durchschnitt erfolgreich bearbeitet, ist das Ergebnis nicht reproduzierbar. Ein Nutzer, der dieselbe Anfrage zweimal stellt, erhält möglicherweise beim ersten Mal ein korrektes Ergebnis und beim zweiten Mal einen Fehler. Für Anwendungen, bei denen Verlässlichkeit entscheidend ist – etwa bei der automatisierten Bearbeitung von Finanztransaktionen oder der Prüfung rechtlicher Verpflichtungen – ist ein solches Verhalten inakzeptabel. Der Hersteller betont, dass die meisten Benchmarks diese Variabilität hinter einem Durchschnittswert verbergen und nur die erste Zahl berichten. Der hier vorgestellte Ansatz misst explizit die zweite Zahl und versucht, sie zu verbessern. Die Lücke auf schweren Aufgaben von 30 Punkten zeigt zudem, dass das Problem mit steigender Aufgabenschwierigkeit zunimmt – ein weiteres Warnsignal für den produktiven Einsatz.

Messmethode: Fünf Läufe auf AppWorld test_normal

Die Konsistenz wurde gemessen, indem ein ReAct-Agent mit GPT-4.1 auf der Testumgebung AppWorld test_normal eingesetzt wurde. Für jede Aufgabe wurden fünf Wiederholungen durchgeführt. Konsistenz ist definiert als Erfolg in allen fünf Läufen einer Aufgabe. Der Durchschnittserfolg ergibt sich aus dem Anteil erfolgreicher Läufe über alle Aufgaben und Wiederholungen hinweg. Die Differenz zwischen diesem Durchschnitt und dem Anteil der Aufgaben, die in allen fünf Läufen erfolgreich waren, ergibt die Konsistenzlücke.

Übliche Benchmarks berichten nur den Durchschnittserfolg – also die erste Zahl. Der hier vorgestellte Ansatz misst explizit die zweite Zahl: Wie oft gelingt eine Aufgabe zuverlässig bei jeder Wiederholung? Diese Unterscheidung ist zentral, denn ein Agent, der im Schnitt oft erfolgreich ist, kann dennoch bei vielen Aufgaben unzuverlässig sein, wenn sein Erfolg von Lauf zu Lauf schwankt. Die Wahl von fünf Wiederholungen pro Aufgabe erlaubt es, solche Schwankungen sichtbar zu machen. Die Ergebnisse auf AppWorld test_normal zeigen, dass die Konsistenzlücke mit 24,4 Prozentpunkten erheblich ist und auf schweren Aufgaben sogar 30 Punkte erreicht.

Der Hersteller weist darauf hin, dass frühere Ergebnisse des Systems altk-evolve zwar den durchschnittlichen Aufgabenerfolg messbar steigerten, aber ebenfalls nur die Durchschnittsfrage stellten. Die hier vorgestellte Messmethode geht darüber hinaus, indem sie die Wiederholbarkeit des Erfolgs in den Mittelpunkt rückt. Die Definition von Konsistenz als Erfolg in allen fünf Läufen ist streng: Ein Agent, der bei vier von fünf Läufen erfolgreich ist, gilt als inkonsistent für diese Aufgabe. Diese strenge Definition macht die Zuverlässigkeitslücke sichtbar, die bei einer reinen Durchschnittsbetrachtung verborgen bleibt. Die Testumgebung AppWorld test_normal bietet dafür eine standardisierte Grundlage, auf der die Leistung des Agenten über mehrere Durchläufe hinweg vergleichbar gemessen werden kann.

Consistency Analyzer sampelt Trajektorien neu

Zur Diagnose der Konsistenzlücke wurde ein Werkzeug namens Consistency Analyzer entwickelt. Es sampelt die aufgezeichneten Trajektorien eines Agenten neu, um sogenannte flip-prone Entscheidungen zu identifizieren – also Entscheidungspunkte, an denen der Agent bei minimalen Variationen zwischen Erfolg und Misserfolg kippt. Konkret bedeutet das: Der Analyzer nimmt die bereits aufgezeichneten Ablaufprotokolle (Trajektorien) des Agenten und variiert sie erneut, um zu erkennen, an welchen Stellen kleine Unterschiede im Verlauf zu unterschiedlichen Ergebnissen führen. Diese kritischen Stellen sind die Ursache dafür, dass derselbe Agent bei derselben Aufgabe einmal erfolgreich ist und ein anderes Mal scheitert.

Auf dieser Diagnose aufbauend wurden consistency guidelines als neuer Guideline-Typ in das System altk-evolve eingeführt. altk-evolve ist ein System, das die eigenen vergangenen Trajektorien eines Agenten in wiederverwendbare Guidelines umwandelt. Diese Guidelines werden automatisch destilliert und zur Inferenzzeit wieder eingespeist. Die neuen consistency guidelines zielen direkt auf die identifizierten flip-prone Entscheidungen ab: Sie geben dem Agenten an genau diesen kritischen Punkten konkrete Handlungsanweisungen, die ein stabiles Verhalten fördern. Dadurch soll verhindert werden, dass der Agent an den instabilen Stellen zufällig zwischen Erfolg und Misserfolg wechselt. Der Hersteller gibt an, dass frühere Ergebnisse von altk-evolve zwar den durchschnittlichen Aufgabenerfolg messbar steigerten, aber ebenfalls nur die Durchschnittsfrage stellten. Die consistency guidelines adressieren nun explizit die Lücke zwischen Durchschnitt und Konsistenz, indem sie die aus der Neuabtastung gewonnenen Erkenntnisse in wiederverwendbare Regeln überführen.

Der Consistency Analyzer arbeitet also als Diagnosewerkzeug, das die vorhandenen Trajektorien eines Agenten erneut abtastet, um instabile Entscheidungspunkte zu finden. Diese Punkte sind dadurch gekennzeichnet, dass der Agent bei nahezu identischen Verläufen unterschiedliche Aktionen wählt oder unterschiedliche Ergebnisse erzielt. Indem der Analyzer diese Stellen identifiziert, liefert er die Grundlage für gezielte Verbesserungen. Die consistency guidelines werden dann aus diesen Erkenntnissen abgeleitet und als zusätzliche Regeln in das altk-evolve-System integriert. Bei der Inferenz werden sie dem Agenten zusammen mit den übrigen Guidelines zur Verfügung gestellt, sodass er an den kritischen Stellen eine stabilere Entscheidungsgrundlage hat. Der Hersteller beschreibt diesen Ansatz als direkten Angriff auf die Konsistenzlücke, die durch die reine Durchschnittsbetrachtung bisher verdeckt blieb.

Neuheitsanspruch trifft auf bestehende Forschung

Der Hersteller präsentiert den Ansatz als neuen Weg, Konsistenz zu messen und zu verbessern. In der Fachliteratur existieren jedoch bereits Ansätze zur Messung von Konsistenz und Zuverlässigkeit von KI-Agenten, die ähnliche Ziele verfolgen. So schlägt die Arbeit „Towards a Science of AI Agent Reliability“ ein Profil aus zwölf Metriken vor, das Zuverlässigkeit entlang der Dimensionen Konsistenz, Robustheit, Vorhersagbarkeit und Sicherheit zerlegt. Die Arbeit „Consistency as a Testable Property“ etabliert statistische Methoden zur Quantifizierung von Konsistenz unter semantisch erhaltenden Perturbationen und unterscheidet zwischen Kernfähigkeit und Ausführungsrobustheit. Und „Beyond pass@1: A Reliability Science Framework for Long-Horizon LLM Agents“ führt formale Metriken wie die Reliability Decay Curve und den Variance Amplification Factor ein, die genau die Divergenz zwischen Durchschnittserfolg und wiederholter Zuverlässigkeit adressieren.

Diese Arbeiten zeigen, dass das allgemeine Konzept der Konsistenzmessung nicht neu ist. Die Neuheit des hier vorgestellten Ansatzes liegt vermutlich in der spezifischen Implementierung innerhalb des altk-evolve-Systems: der Consistency Analyzer als Diagnosewerkzeug, das Trajektorien neu sampelt, und die consistency guidelines als neuer Guideline-Typ, der aus diesen Diagnosen abgeleitet wird. Der Hersteller nimmt jedoch keine direkte Gegenüberstellung oder Abgrenzung zu den bestehenden Rahmenwerken und Metriken vor. Es bleibt daher offen, inwieweit der Ansatz über eine anwendungsspezifische Umsetzung hinausgeht oder ob er lediglich bekannte Ideen in ein bestehendes System integriert.

Ein konkreter Unterschied zu den genannten Verfahren besteht in der Art der Datengrundlage. Die Arbeiten „Towards a Science of AI Agent Reliability“ und „Beyond pass@1“ setzen auf wiederholte Ausführungen von Aufgaben, um Konsistenz über mehrere Läufe zu messen. „Consistency as a Testable Property“ nutzt semantisch erhaltende Perturbationen der Aufgabenstellung und bewertet die Stabilität der Trajektorien über Kernel-basierte Metriken. Der Consistency Analyzer hingegen sampelt bereits aufgezeichnete Trajektorien eines Agenten neu. Das bedeutet, er greift auf vorhandene Ablaufprotokolle zurück, statt neue Inferenzläufe zu starten oder die Aufgaben systematisch zu variieren. Dieser Unterschied könnte einen praktischen Vorteil bieten: Die Diagnose erfordert keine zusätzlichen kostspieligen Modellaufrufe, sondern nutzt Daten, die ohnehin bei der Ausführung anfallen. Allerdings ist dieser Vorteil nicht durch einen direkten Vergleich mit den genannten Methoden belegt. Ob die Neuabtastung vorhandener Trajektorien tatsächlich effizienter oder aussagekräftiger ist als die etablierten statistischen Verfahren, lässt sich aus der Herstellerangabe nicht ableiten.

Die Arbeit „Towards a Science of AI Agent Reliability“ argumentiert, dass ein einzelner Metrikwert nicht ausreicht, um das Verhalten von Agenten zu verstehen, und schlägt ein ganzheitliches Leistungsprofil aus zwölf Metriken vor, das Konsistenz, Robustheit, Vorhersagbarkeit und Sicherheit abdeckt. Die Autoren evaluieren 15 Modelle auf zwei Benchmarks und stellen fest, dass jüngste Fähigkeitsgewinne nur geringe Verbesserungen der Zuverlässigkeit gebracht haben. „Consistency as a Testable Property“ liefert einen mathematischen Rahmen, der Output-Level-Zuverlässigkeit über f-Statistiken und Trajektorien-Stabilität über Kernel-basierte Metriken quantifiziert. Die Arbeit zeigt, dass geringfügige Aufgabenänderungen zu vollständigen Strategieabbrüchen führen können, obwohl der Agent das nötige Wissen besitzt. „Beyond pass@1“ führt mit der Reliability Decay Curve, dem Variance Amplification Factor, dem Graceful Degradation Score und dem Meltdown Onset Point ein formales Gerüst ein, das genau die systematische Divergenz zwischen einmaligem Erfolg und wiederholter Zuverlässigkeit über Aufgaben unterschiedlicher Dauer sichtbar macht. Alle drei Arbeiten belegen, dass die Messung von Konsistenz und Zuverlässigkeit ein etabliertes Forschungsfeld ist. Der hier vorgestellte Ansatz reiht sich in diese Tradition ein, setzt aber einen spezifischen Schwerpunkt auf die Neuabtastung vorhandener Trajektorien und die Integration in ein bestehendes Guideline-System. Ob diese spezifische Umsetzung einen echten Fortschritt darstellt, lässt sich ohne direkten Vergleich mit den genannten Methoden nicht beurteilen.