KI SpotlightNewsNeue Taxonomie unterscheidet Modell- und Harness-Fehler bei KI-Agenten
Interaktionszentrierte Taxonomie lokalisiert Fehlerquellen und offenbart auf SWE-bench viele Harness-Fehler.
Mit KI erstellt◆ Fakten auf einen Blick
- Bestehende Evaluierungen reduzieren Agentenfehler oft auf Systemebene, was die Fehlerquelle verschleiert und ein Reparatur-Zuweisungsproblem schafft.
- Die vorgeschlagene Taxonomie klassifiziert Fehler nach der Interaktion, in der der Fehler zuerst auftritt, und unterscheidet zwischen Modellfehlern (Modell produziert trotz korrektem Kontext falsche Ausgabe) und Harness-Fehlern (Harness liefert nicht den korrekten Kontext).
- Die Anwendung auf SWE-bench und SWE-bench Multimodal zeigt, dass viele Fehler harness-bezogen sind und die Taxonomie gezielte Reparaturen ermöglicht.
- Ein Datensatz mit über 1.000 kategorisierten Fehlern wird zur Unterstützung weiterer Forschung veröffentlicht.
Interaktionszentrierte Taxonomie statt Systemebene
Bestehende Evaluierungen von KI-Agenten reduzieren Fehler oft auf das reine Systemergebnis – bestanden oder durchgefallen. Diese Praxis verschleiert, wo der Fehler tatsächlich entstanden ist, denn das sichtbare Versagen kann mehrere Ursachen haben: ein falsch trainiertes Modell, eine fehlerhafte Umgebung oder eine mangelhafte Verknüpfung beider Komponenten. Die Autoren der Forschungsarbeit „Model or Harness? An Interaction-Centric Taxonomy for Localizing Agent Failures“ sprechen hier von einem „Reparatur-Zuweisungsproblem“: Ohne genaue Lokalisierung der Fehlerquelle bleibt unklar, ob das Modell nachtrainiert, der Harness umgebaut oder die Evaluierungsumgebung korrigiert werden muss.
Die vorgeschlagene Taxonomie setzt deshalb nicht am Endergebnis an, sondern an der Interaktion zwischen Modell und Harness. Sie unterscheidet zwei grundlegende Fehlerkategorien: Modellfehler entstehen, wenn das Modell trotz korrekt bereitgestellten Kontexts eine falsche Ausgabe produziert – hier liegt die Verantwortung beim Sprachmodell selbst. Harness-Fehler hingegen treten auf, wenn der Harness, also die Infrastruktur, die dem Modell Beobachtungen, Werkzeuge und Historien zuspielt, einen fehlerhaften oder unvollständigen Kontext liefert. In diesem Fall scheitert das System nicht am Modell, sondern an der Umgebung, die das Modell mit den nötigen Informationen versorgt.
SWE-bench-Test enthüllt viele Harness-Fehler
Die Forscher wendeten ihre interaktionszentrierte Taxonomie auf die weit verbreiteten Benchmarks SWE-bench und SWE-bench Multimodal an. Dazu analysierten sie die Interaktionsspuren der Agenten und klassifizierten jeden Fehler anhand der Frage, ob der Harness dem Modell den korrekten Kontext – etwa korrekte Dateiinhalte oder vollständige Beobachtungen – bereitgestellt hatte. War der Kontext fehlerhaft oder unvollständig, wurde der Fehler als Harness-Fehler gewertet. Die detaillierte Analyse ergab, dass ein erheblicher Teil der zuvor als Modellversagen eingestuften Fehler tatsächlich harness-bedingt war. Um die Community bei einer differenzierteren Fehleranalyse zu unterstützen, veröffentlichten die Autoren einen Datensatz mit kategorisierten Fehlern, die nach der neuen Taxonomie klassifiziert sind.
