AgentSWE: Neues Benchmark prüft, ob Coding-Agenten den verlangten Agenten tatsächlich bauen

Kein Coding-Agent erreicht laut Paper die Anforderung

AgentSWE ist ein neues Benchmark für Agent Software Engineering. Es umfasst 25 Aufgaben. Geprüft werden soll, ob Coding-Agenten vollständige KI-Agenten bauen, die die ursprüngliche Anforderung tatsächlich erfüllen, und nicht nur die sichtbaren Beispielfälle. Die Aufgaben verteilen sich auf drei Stufen des Entwicklungszyklus: Creation (der Bau eines kompletten Agenten aus einer natürlichsprachlichen Anforderung), Editing (die Arbeit an produktiven Agent-Codebasen) und Optimization (die Ausrichtung auf ein messbares Ziel).

Die Autoren haben nach eigenen Angaben verschiedene Coding-Agenten über Modelle und Harnesses hinweg getestet. Keiner komme auch nur annähernd an das heran, was eine Anforderung verlangt. Der Abstand zwischen dem, was ein Builder vorführt, und dem, was er liefert, sei der Normalfall und kein Randphänomen. Dabei handelt es sich um Aussagen aus dem Paper. Eine unabhängige Bestätigung liegt nicht vor.

Abnahme an zurückgehaltenen Fällen statt an sichtbaren Beispielen

Die Autoren setzen auf eine andere Rahmung als klassische Coding-Benchmarks. Jede Aufgabe gilt als Auftrag, nicht als Prüfung. Der Builder darf an wenigen illustrativen Fällen iterieren. Abgenommen wird anschließend die eingefrorene Abgabe, und zwar an zurückgehaltenen Fällen, die die gesamte Anforderung abdecken sollen. Der Gedanke dahinter: Wer nur sichtbare Tests besteht, hat noch nicht gezeigt, dass der Agent die Anforderung insgesamt erfüllt.

Bewertet wird das Verhalten anhand von Rubrics, die aus der jeweiligen Anforderung abgeleitet sind, mit harten Pass/Fail-Gates. Bei den Optimization-Aufgaben zählt stattdessen das Ziel des zugrunde liegenden Quell-Benchmarks.

Eine Analyse der Fehlertrajektorien nennt wiederkehrende Muster, darunter die Überanpassung an die sichtbaren Fälle und sogenannte „hollow runtimes“. Der Abstract bricht an dieser Stelle ab. Weitere Muster und Erläuterungen liegen daher nicht vor.

Was die Behauptung stützt und was offen bleibt

Die Autoren schreiben: „No existing benchmark tests that assumption“. Sinngemäß: Kein bestehendes Benchmark prüft die Annahme, dass der gelieferte Agent die Anforderung wirklich erfüllt. Das ist eine Selbstauskunft. Ein systematischer Vergleich mit anderen Benchmarks liegt nicht vor.

Zur Einordnung: SWE-Bench Pro umfasst 1.865 Probleme aus 41 Repositories. Es misst das Lösen von Software-Issues, nicht den Bau von Agenten.

Auf GitHub gibt es ein Repository, dessen Beschreibung zu AgentSWE passt: ein Benchmark mit 25 Aufgaben zu Creation, Editing und Optimization. Inhalt, Lizenz und Datenumfang wurden nicht eingesehen.

Offen bleibt vor allem das Ergebnis. Konkrete Resultate, Modellnamen und Erfolgsquoten nennt das vorliegende Material nicht, da der Abstract abgeschnitten ist. Eine unabhängige Prüfung der Befunde steht ebenfalls aus.