Harness-Wechsel verändert die Lösungsquote kaum, treibt die Kosten aber bis zum Dreifachen

Harness-Wechsel kippt Aufgaben so oft wie ein zweiter Lauf

Wer bei einem Coding-Agenten den Harness austauscht, ändert die Lösungsquote auf SWE-bench Verified kaum über das Maß hinaus, das schon ein erneuter Lauf desselben Setups mitbringt. So lautet das Ergebnis der Studie „What does a harness buy? Mostly tokens.“ Die Autoren Liu und Han forschen an der Shandong University. Sie testeten fünf Modelle in drei Harnesses, jeweils in der ausgelieferten Version: Claude Code, OpenCode und mini-SWE-agent. Der letzte gibt dem Modell nur ein Bash-Tool an die Hand und verwaltet keinen Kontext. Claude Code und OpenCode stellen dagegen spezialisierte Datei- und weitere Werkzeuge bereit.

Auf 447 Aufgaben und zwei Modellen liegen Claude Code als schwerster und mini-SWE-agent als leichtester Harness innerhalb von fünf Punkten. Auf einer harten Teilmenge von 45 Aufgaben mit fünf Modellen kippt der Harness-Wechsel 13 Prozent der Aufgaben. Ein bloßer Neulauf desselben Harness kippt ebenso viele. Welche Aufgaben ein Harness gewinnt, schwankt also von Lauf zu Lauf.

Die Wiederholungen dienen als Rauschkalibrierung. Reine Wiederholungen schwanken auf SWE-bench Verified um bis zu sechs Punkte. Frühere Vergleiche mit Lücken von mehr als 20 Punkten stammen laut den Autoren fast durchweg aus Einzelläufen. Sie messen daher zu einem guten Teil Zufall.

Bis zu dreifache Kosten durch den festen Preamble pro Schritt

Die Kosten dagegen klaffen auseinander. Bei gleichem Modell unterscheidet sich der Preis pro Aufgabe je nach Harness um bis zu das Dreifache. Der Haupttreiber ist der feste Preamble aus Systemprompt und Tool-Schemas. Er geht bei jedem Schritt erneut mit: rund 16k Tokens in Claude Code, 7k in OpenCode, unter 1k in mini-SWE-agent. Je mehr Schritte eine Aufgabe braucht, desto schwerer wiegt dieser Sockel.

Über das Rauschen hinaus sehen die Autoren nur einen Effekt, und sie werten ihn als Verlust. OpenCode liegt auf dem großen Aufgabenpool um bis zu neun Punkte zurück. Bei einem Modell entfällt etwa die Hälfte dieser Lücke auf Läufe, die am Output-Limit von OpenCode abbrachen. Ein Wiederherstellungsmechanismus griff dort nicht.

Einen Heimvorteil für Herstellerharnesses finden die Forschenden nicht. Der Harness von DeepSeek auf dem eigenen Modell liegt innerhalb der Spanne der drei anderen. Den Vorsprung von 2,4 Punkten, den Zhipu AI für seinen Harness gegenüber Claude Code angibt, stufen die Autoren als Rauschbereich ein.

Was die Messung nicht abdeckt

Die Messung hat Grenzen. Nach Berechnung der Autoren erkennen 45 Aufgaben eine Lücke von 13 Punkten nur in der Hälfte der Fälle. Bei 447 Aufgaben liegt die Auflösung bei etwa fünf Punkten. Das ist gröber als viele veröffentlichte Harness-Gewinne. Außerdem gilt der Befund nur für SWE-bench Verified.

Eine unabhängige Studie zum „Scaffold Effect“ stützt das Bild bei anderen Aufgaben. Mit Goose, OpenCode und OpenHands-SDK auf 50 Terminal-Bench-Pro-Aufgaben schwanken die Tokens pro gelöster Aufgabe stark. Die Unterschiede bei der Pass-Rate liegen zwischen 0 und 8 Punkten. Die Bootstrap-Intervalle schließen die Null ein, mit einer Ausnahme: der größten Lücke.

Andere Arbeiten sehen dagegen Nutzen. Eine Studie auf SWE-bench Pro, ProgramBench und GitTaskBench berichtet, komplexe Harnesses könnten stärkeren Modellen bei offenen Aufgaben auf Repository-Ebene helfen. Bei der Reparatur von Issues sinke der Grenznutzen mit wachsender Modellstärke. Das passt zur Shandong-Studie. Für den eigenen Harness bei 22 Aufgaben und sechs Modellen seien 41 Prozent geringere Kosten bei gleichbleibender Qualität erreicht worden, so Writer. Das ist eine Herstellermessung auf kleiner Stichprobe. Die Qualitätsverbesserung stufen die Autoren selbst nur als richtungsweisend ein.