KI SpotlightNewsHarness^2: Neues Framework soll Agenten-Harnesses ohne Ground-Truth-Verifier verbessern
Laut Abstract arbeitet das Verfahren auf zwei Rekursionsebenen und soll bis zu 11,8 Prozentpunkte Gewinn bringen. Ein Vergleich mit verwandten Arbeiten und eine unabhängige Prüfung fehlen bislang.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- Harness^2 ist ein Plug-and-play-Framework mit Task-Level- und Harnessing-Level-Rekursion.
- Der Schritt bringt Gewinne bis zu 11,5 Punkten auf WorkBuddy-Bench, 4,5 auf JobBench und 11,8 Prozentpunkte auf LAB.
- Self-Harness verbessert das eigene Harness eines Agenten in einer Schleife mit Regressionstests.
- In zehn Iterationen hebt AHE pass@1 auf Terminal-Bench 2 von 69,7 % auf 77,0 %.
- ModularRSI zerlegt das Harness in fünf Module, die getrennt per kontrastiver Analyse entwickelt werden.
Harness^2 steuert Harness-Änderungen über zwei Rekursionsebenen
Ein Harness ist die Ausführungsumgebung, in der ein LLM-Agent arbeitet. Wie gut der Agent ist, hängt deshalb nicht nur am Modell, sondern auch an diesem Rahmen. Harness^2 soll den Rahmen rekursiv verbessern. Nach Angaben der Autoren lässt sich das Framework einfach einbinden. Es richtet sich an offene Aufgaben, die beim Entwurf des Harness noch unbekannt sind.
Genau das macht die Sache schwierig. Zur Testzeit neuer Aufgaben gibt es keine verlässlichen Ground-Truth-Verifier, die Änderungen am Harness prüfen könnten. Bisherige Verfahren zur rekursiven Selbstverbesserung (RSI) seien zudem stark auf einzelne Aufgaben zugeschnitten. Auf neue Szenarien übertragen sie sich schlecht, so die Autoren.
Harness^2 setzt dagegen auf zwei verbundene Ebenen. Auf der Task-Level-Ebene verfeinert ein kontrastiver Propose-Probe-Compose-Schritt das Harness für die aktuelle Aufgabe. Die Edits sollen auch ohne Ground-Truth-Verifier angeleitet werden. Laut Abstract lässt sich diese Ebene durch parallele oder sequenzielle Rekursion skalieren. Auf der Harnessing-Level-Ebene fließen die Erfahrungen aus diesen Edits in ein kontinuierlich verbessertes Harness ein. Der Agent soll sich so besser auf künftige Aufgaben einstellen.
Die Autoren beschreiben den Propose-Probe-Compose-Schritt selbst als „zuverlässig“ im Leiten der Edits. Das ist eine Selbstbeschreibung.
Bis zu 11,8 Prozentpunkte Gewinn – laut Abstract der Autoren
Getestet wurde Harness^2 mit drei professionellen Benchmarks und vier Modell-Harness-Konfigurationen. Schon ein einzelner Schritt soll laut Abstract die Modelle GLM-5 und Gemini 3.5 Flash gegenüber ihren Basis-Harnesses verbessern. Die Gewinne betragen bis zu 11,5 Punkte auf WorkBuddy-Bench, 4,5 Punkte auf JobBench und 11,8 Prozentpunkte auf LAB. Bei zunehmender Task-Level-Rekursion soll es weitere Gewinne geben. Der Abstract ist an dieser Stelle abgeschnitten, mehr lässt sich dazu nicht sagen.
Alle Zahlen stammen von den Autoren. Eine unabhängige Prüfung liegt nicht vor. Auch die Aussage, die Verbesserungen seien über Konfigurationen hinweg „konsistent“, ist eine Selbstbeschreibung. Belastbar wird sie erst mit dem Volltext, einem Vergleich mit Baselines und Ablationen oder einer Replikation auf eigenen Aufgaben.
Verwandte Harness-Optimierer stützen sich auf Benchmarks und Regressionstests – ein Vergleich fehlt
Harness^2 ist nicht das einzige Verfahren dieser Art. Self-Harness lässt einen Agenten das eigene Harness verbessern und übernimmt Änderungen erst nach Regressionstests. Agentic Harness Engineering, ModularRSI und HarnessFix entwickeln oder reparieren Harnesses auf Basis von Benchmarks, Trajektorien oder Ergebnissignalen. Die Darwin Gödel Machine ändert ihren eigenen Code und prüft die Änderungen empirisch mit Coding-Benchmarks.
Der Unterschied, den das Abstract von Harness^2 betont, liegt in der Steuerung der Edits zur Testzeit ohne Ground-Truth-Verifier. Ob das Verfahren damit besser abschneidet, lässt sich nicht beurteilen. Es liegt nur das Abstract vor, und die Zahlen der genannten Arbeiten sind nicht gegenübergestellt. Einen direkten Vergleich gibt es nicht.
Laut Abstract könnte das Verfahren vor allem in Szenarien mit neuen, unbekannten Aufgaben nützlich sein, in denen keine Verifier verfügbar sind. Belegt ist das nicht.
