KI SpotlightNewsFireworks-Studie: Ausführungsfehler bremsen KI-Agenten aus
Eine Untersuchung mit 720 Browser-Automation-Aufgaben zeigt: Fehlerhaftes JSON und andere Ausführungsprobleme sind die Hauptursache für Versagen – nicht mangelnde Denkleistung.
Mit KI erstelltAusführungsfehler als Hauptursache für Agentenversagen identifiziert
Fireworks AI hat in einer Untersuchung mit 720 Browser-Automation-Aufgaben und vier großen Sprachmodellen (LLMs) analysiert, warum KI-Agenten in der Praxis häufig versagen. Das Ergebnis: Die Agenten scheiterten in etwa der Hälfte der Fälle – nicht an mangelnder Intelligenz, sondern an Ausführungsfehlern. Während die Modelle in Benchmarks für logisches Denken, Code und Fachwissen glänzen, offenbart die Agentenschleife eine andere Schwachstelle. Die Agenten mussten wiederholt Webseiten beobachten, Entscheidungen treffen und strukturierte Aktionen ausgeben. Bereits kleine Formatfehler in dieser Ausführungskette konnten den gesamten Prozess zum Erliegen bringen. Die eigentliche Hürde liegt demnach nicht in der Denkleistung, sondern in der Zuverlässigkeit der Ausführungsschleife. Die Studie unterstreicht damit, dass der Fokus bei der Entwicklung von Agenten von reiner Modellleistung auf die Robustheit der Ausführungsumgebung verlagert werden muss. Denn selbst hochintelligente Modelle produzieren in der Praxis unbrauchbare Ergebnisse, wenn die Ausgabeformate nicht zuverlässig eingehalten werden.
Fehlerhaftes JSON als Kostentreiber und Erfolgsbremse
Besonders deutlich wurde das Problem bei einem der getesteten Modelle: Fast jeder fünfte LLM-Aufruf (nahezu 20 Prozent) scheiterte an fehlerhaftem JSON, das wiederholt werden musste. Diese Ausführungsfehler wirkten sich direkt auf die Effizienz aus – sie erhöhten die Latenz, trieben die Kosten in die Höhe und reduzierten den Aufgabenerfolg. Statt die eigentliche Aufgabe zu lösen, verbrauchte der Agent wertvolle Rechenzeit mit der Korrektur syntaktischer Mängel. Die Studie zeigt, dass die Zuverlässigkeit der Ausgabeformate ein entscheidender Faktor für den produktiven Einsatz von KI-Agenten ist. Ein einziger Zuverlässigkeitsengpass kann eine Kaskade von Folgeproblemen auslösen, die den Nutzen intelligenter Modelle zunichtemachen. Die Untersuchung von Fireworks AI belegt damit, dass nicht die kognitive Leistungsfähigkeit der Modelle den Ausschlag gibt, sondern die Disziplin bei der Einhaltung von Ausgabeformaten. Für Entwickler bedeutet das, dass Investitionen in robuste Parsing- und Wiederholungsmechanismen mindestens so wichtig sind wie die Auswahl des leistungsstärksten Modells.
