KI SpotlightNewsArtificial Analysis startet Coding Agent Index
Neuer Index vergleicht Leistung, Kosten und Token-Verbrauch von Coding-Agenten anhand dreier Benchmarks
Mit KI erstelltArtificial Analysis startet Coding Agent Index
Die Analyseplattform Artificial Analysis hat einen neuen Index veröffentlicht, der die reale Leistung von Coding-Agenten auf Software-Engineering-Aufgaben misst. Der Index bewertet nicht nur die reine Aufgabenerfüllung, sondern bezieht auch die dabei anfallenden Kosten, den Token-Verbrauch und die Ausführungszeit mit ein. So soll ein differenziertes Bild entstehen, wie sich verschiedene Agenten und Modelle unter unterschiedlichen Ausführungseinstellungen schlagen. Der Index aggregiert die Ergebnisse aus drei spezialisierten Benchmarks, die jeweils unterschiedliche Aspekte der Code-Arbeit abdecken. Die Bewertung erfolgt anhand des pass@1-Werts, der angibt, wie oft eine Lösung auf Anhieb korrekt ist. Um Zufallsschwankungen zu minimieren, wird jeder Benchmark dreimal durchlaufen und der Durchschnitt gebildet. Damit will Artificial Analysis eine praxisnahe Vergleichsgrundlage schaffen, die über reine Modell-Benchmarks hinausgeht und die tatsächliche Leistungsfähigkeit von Coding-Agenten in realistischen Szenarien abbildet.
Drei Benchmarks als Grundlage
Der Index setzt sich aus drei Benchmarks zusammen. DeepSWE umfasst 113 Aufgaben aus dem Software Engineering und prüft die Fähigkeit, komplexe Programmierprobleme zu lösen. Terminal-Bench v2 testet mit 84 Aufgaben den agentischen Umgang mit der Kommandozeile, etwa das Ausführen von Shell-Befehlen und die Navigation in Dateisystemen. SWE-Atlas-QnA enthält 124 Aufgaben, die auf technische Frage-Antwort-Szenarien abzielen und das Verständnis von Code und Dokumentation bewerten. Jeder Benchmark wird dreimal durchlaufen, um die Stabilität der Ergebnisse zu gewährleisten. Der Index berechnet sich als Durchschnitt der pass@1-Werte über alle drei Durchläufe. So fließen sowohl die Korrektheit der Lösungen als auch die Konsistenz der Leistung in die Bewertung ein. Die Kombination dieser drei Benchmarks soll ein umfassendes Bild der Fähigkeiten von Coding-Agenten liefern – von der Code-Erstellung über die Terminal-Interaktion bis hin zur Beantwortung technischer Fragen.
