Live RoughCut-Bench: Neuer Benchmark prüft automatisches Rohschneiden von Videos
↘

Coding-Agenten finden die Lösung früh und arbeiten weiter: Preprint misst den „Termination Lag“

Penn-State-Forscher zeigen, dass Agenten nach dem ersten korrekten Patch oft noch lange weiterlaufen. In 1 bis 8 Prozent der Fälle nehmen sie die richtige Lösung wieder zurück.

· Veröffentlicht: 20.11.2026 ·3 Min Lesezeit
Coding-Agenten finden die Lösung früh und arbeiten weiter: Preprint misst den „Termination Lag“Mit KI erstellt
Inhalt
◆ Fakten auf einen Blick
  • Termination Lag misst die Schritte zwischen dem ersten korrekten Patch und dem Laufende.
  • Jeder unterschiedliche Patch eines Laufs wird nachträglich mit den offiziellen SWE-bench-Tests bewertet.
  • Bei 38–82 % der erfolgreichen Läufe ist bereits die erste Quellcode-Änderung korrekt.
  • In erfolgreichen Läufen folgen dem ersten korrekten Patch median 35–37 % (Qwen3-Coder) bzw. 54–60 % (Laguna-XS.2) der Schritte.
  • Quellcode-Änderungen machen 2–6 % der Zusatzschritte aus, bei Seed-OSS-36B auf SWE-bench Pro 19 %.

Coding-Agenten finden die Lösung früh und arbeiten weiter: Preprint misst den Termination Lag

Coding-Agenten finden einen korrekten Patch oft lange, bevor sie ihren Lauf beenden. Das zeigt ein Preprint von Musa Cim, Burak Topcu und Mahmut Taylan Kandemir von der Pennsylvania State University. Die Autoren führen dafür den „Termination Lag“ ein: die Zahl der Schritte zwischen dem ersten korrekten Patch und dem Ende des Laufs. Im zugehörigen Code-Repository ist die Metrik formal gefasst. F ist der Schritt des ersten korrekten Patches, S der Stoppschritt, TL = S − F. Die normalisierte Variante lautet NTL = (S − F)/S, jeweils als Median über gelöste Läufe.

Der Kernbefund betrifft die Rücknahme. In 1 bis 8 Prozent der Fälle führt die anschließende Aktivität dazu, dass der Agent seinen früheren korrekten Patch wieder entfernt. Die Endlösung ist dann falsch, obwohl der Agent zuvor richtig lag.

Die Arbeit trägt die Kennung arXiv 2611.14960 (cs.AI) und wurde am 11. November 2026 eingereicht. Es handelt sich um einen Preprint. Ein Hinweis auf eine Begutachtung ist nicht bekannt.

Verifikation und Repository-Erkundung dominieren die Schritte nach der Lösung

Untersucht wurden fünf Modelle, zwei Agent-Frameworks und drei SWE-bench-Datensätze. Entscheidend ist die Bewertung. Jeder während des Laufs entstehende, voneinander verschiedene Repository-Patch wird gespeichert, laut Repository nach jedem Agentenschritt. Danach prüft das Team ihn nachträglich mit den offiziellen SWE-bench-Tests. Als „korrekt“ gilt also nicht, was die Tests des Agenten selbst sagen, sondern das Ergebnis der Standardprüfung des Benchmarks.

Bei 38 bis 82 Prozent der erfolgreichen Läufe ist schon die erste Quellcode-Änderung korrekt. Danach arbeiten die Agenten weiter. Der Anteil der Schritte nach der ersten korrekten Lösung liegt im Median bei 35 bis 37 Prozent für Qwen3-Coder und bei 54 bis 60 Prozent für Laguna-XS.2. Diese Werte gelten für erfolgreiche Läufe auf SWE-bench Verified und Multilingual.

Die zusätzlichen Schritte dienen überwiegend der Verifikation und der Erkundung des Repositorys. Quellcode-Änderungen nach der Lösung sind mit 2 bis 6 Prozent dieser Schritte eine seltene Aktivität. Eine Ausnahme nennt das Repository: Seed-OSS-36B kommt auf SWE-bench Pro auf 19 Prozent. Die Rücknahmen in 1 bis 8 Prozent der Fälle werden in den Angaben nicht mit diesem Anteil verknüpft.

Einschränkend gilt: Konkrete Zahlen zum Anteil der Nach-Lösungs-Schritte nennen die Autoren nur für zwei der fünf Modelle. Werte für die übrigen Modelle sind bislang nicht bekannt, ebenso wenig die Aufschlüsselung nach den weiteren Frameworks und Datensätzen. Eine Kostenrechnung ist ebenfalls nicht bekannt.

Überschriebene Lösungen sind aus der Fehlerperspektive bereits beschrieben. Daten zum Nachrechnen liegen offen

Der Einzelbefund ist nicht neu. Die Arbeit „Coherence Collapse“ wertet mit TrajEval 16.758 Trajektorien aus. Als größtes Thema bei Fehlschlägen nennt sie den Fall, dass ein Agent korrekten Code überschreibt oder zerstört. Sie berichtet außerdem von 5 Fällen, in denen ein Patch zwischenzeitlich bit-identisch zum Gold-Patch war und später zerstört wurde. Ein Edit-Commit-Checkpoint rettete alle fünf. AgentLens fand bei 10,7 Prozent der bestandenen OpenHands-Trajektorien ein „Lucky Pass“-Verhalten, etwa Regressionszyklen.

Neu an der Penn-State-Arbeit sind die Metrik selbst und die Aufschlüsselung dessen, was Agenten nach der Lösung tun.

Das Team hat Code, Prompts und Ergebnisse pro Schritt auf GitHub veröffentlicht, darunter Ergebnisse pro Aufgabe und die Aktionen nach dem ersten korrekten Patch. Das Skript `reproduce_table.py` rechnet die Tabelle ohne Abhängigkeiten aus den freigegebenen Daten nach. Die Zahlen lassen sich so unabhängig prüfen.

A
Andreas Rüdiger
Herausgeber & Redaktionsleitung · KI-Modelle, Technik & Business

Andreas Rüdiger ist Gründer der Agentur INREMA und verantwortet KI Spotlight redaktionell. Sein Schwerpunkt liegt auf KI-Modellen, Recheninfrastruktur, technischen Entwicklungen und der wirtschaftlichen Einordnung. Er sorgt dafür, dass komplexe KI-Themen verständlich und nachvollziehbar aufbereitet werden. Mehr zu ihm auf inrema.de und andiger.de.

Ähnliche Artikel