Self-Evolving Agent Harness: Ein Rahmenwerk mit formalen Schranken, aber ohne eigene Messwerte

Das Gerüst ändert sich, die Modellgewichte bleiben unangetastet

Das Paper „Self-Evolving Agent Harness“ beschreibt, wie sich das Software-Gerüst eines Agenten verändern lässt, ohne das Modell selbst zu verändern. Gemeint sind Prompts, Speicher, Workflows und ausführbare Komponenten. Feedback und evolutionäre Suche revidieren sie; die Modellgewichte bleiben fest. Akzeptierte Revisionen bleiben über Läufe hinweg erhalten.

Das Framework trennt Update-Ziele von den Mechanismen, die Vorschläge machen und sie zulassen. Zusätzlich unterscheidet es zwischen Änderungen am interpretierten Zustand und Revisionen an Tools und Code, an der Kontrolllogik des Repositorys sowie an der Zusammensetzung von Plugins.

Eigene Messwerte enthält die Arbeit nicht. Das Begleitrepo auf GitHub bezeichnet das Werk als Survey, der hinterlegte PDF-Stand ist der Arbeitsentwurf vom 12. Oktober 2026. Als Autoren nennt das Repo Chuyang Wei, Haoxiang Guan, Minghang Zhu, Kexin Zhou, Jiyan He, Xiren Zhou, Huanhuan Chen und Yifei Shen (korrespondierend). Zugehörig sind sie zur Zhongguancun Academy, zum Zhongguancun Institute of Artificial Intelligence und zur University of Science and Technology of China. Dass Repo und Paper zusammengehören, ergibt sich aus inhaltlicher Übereinstimmung. Ausdrücklich verlinkt ist das im Material nicht. Der Abstract verweist nur auf „Cases from prior work“. Eigene Benchmark-Ergebnisse gibt es nicht.

Drei Schranken mit ungeprüften Annahmen

Den theoretischen Kern bildet eine Analyse im Rahmen des kontinuierlichen PAC-Lernens. Sie liefert drei Resultate: einen erwarteten Generalisierungs-Bound, einen Retention-Bound, der von historischen Regressionsbudgets abhängt, und eine Zulassungsregel, die mit hoher Wahrscheinlichkeit auf frischen, unabhängigen Validierungsdaten beruht. Konkret heißt das: Eine Änderung am Harness soll nur übernommen werden, wenn sie sich an Daten bewährt, die die Suche nicht gesehen hat.

Die Autoren sprechen von „theoretischen Generalisierungsgarantien“. Der Abstract schränkt sie aber ein: Sie gelten „unter expliziten Annahmen“. Welche Annahmen das sind und wie die Beweise aussehen, geht aus dem vorliegenden Material nicht hervor. Ob die Garantien für reale Agentenaufgaben tragen, bleibt offen. Bis dahin sind sie Selbstdarstellung der Autoren. Prüfen lassen sie sich am Volltext sowie durch unabhängige Kritik oder Reproduktion auf realen Aufgaben.

Die Zahlen stammen aus Vorarbeiten, meist als Autorenangaben

Selbstverbessernde Harnesses sind keine neue Idee. Das Paper ordnet vor allem ein. Die Messwerte der zitierten Arbeiten stammen jeweils aus deren Abstracts und sind unbestätigt.

Agentic Harness Engineering (AHE) hebt laut Autorenangabe in zehn Iterationen die pass@1-Quote auf Terminal-Bench 2 von 69,7 auf 77,0 Prozent. Das liegt über dem menschlich gebauten Codex-CLI-Harness mit 71,9 Prozent. AHE nennt jede Änderung einen „falsifizierbaren Vertrag“. Das ist Selbstdarstellung. Prüfbar wäre sie über Ablationen und Reproduktion mit offengelegtem Code und Trajektorien.

HarnessCompass steigert laut Autoren auf SWE-bench Verified mit GPT-5.4 die Pass@1-Quote in fünf Iterationen von 54 auf 66 Prozent. Die Gewinne sollen sich auf unbekannte Aufgaben und andere Modelle übertragen.

GSME berichtet für sieben Domänen mit einem eingefrorenen Open-Weight-Modell, dass 86 bis 147 Prozent des Trainingsgewinns auf einem versiegelten Test erhalten bleiben. Absolute Werte fehlen im Auszug. Die Autoren nennen das Verfahren „vertrauenswürdig by construction“, weil deterministischer Code die Gewinne absichert. Auch das ist Eigenaussage. Eine unabhängige Replikation fehlt.

HarnessTTT verbessert mit eingefrorenem 9B-Executor alle elf Benchmark-Aufgaben gegenüber OpenEvolve, etwa Circle Packing von 1,17 auf 2,64. HSI zeigt Gewinne auf BALROG-Teilumgebungen wie BabyAI, Crafter, TextWorld und MiniHack. Als Grenzen nennen die Autoren die Qualität des Feedbacks und die Fähigkeit des festen Modells.

Live-SWE-agent entwickelt sein Scaffold zur Laufzeit, ausgehend von einem minimalen Bash-Scaffold. Die Autoren grenzen ihn von Darwin-Gödel-Machine-Ansätzen ab. Diese erfordern laut Autoren aufwendiges Offline-Training auf bestimmten Benchmarks.

Eine Gegenstudie bezweifelt, dass die Gewinne tragen

Dagegen steht „Rethinking the Evaluation of Harness Evolution“. Die Arbeit untersucht auf Terminal-Bench 2.1 mit GPT-5.4 und Claude Opus 4.6. Ihr Befund: Automatische Harness-Evolution übertrifft einfache Test-Time-Scaling-Methoden nicht durchgängig und generalisiert nur begrenzt.

Die Kritik setzt am Protokoll an. Bestehende Methoden suchen mit Testfällen und berichten dann auf derselben öffentlichen Benchmark. Damit bleibt offen, ob der Gewinn aus besserem Harness-Design stammt oder aus zusätzlicher Suche. Zudem droht Überanpassung an die Aufgabenmenge. Die Gegenstudie vergleicht deshalb bei gleichem Feedback- und Inferenzbudget und testet auf zurückgehaltenen Aufgaben.

Die positiven Arbeiten unterscheiden sich in Benchmarks, Modellen, Protokollen und Vergleichsmaßstäben. Teils messen sie gegen Ausgangs-Harnesses. Ob diese Unterschiede den Widerspruch ganz erklären, lässt das Material offen.

Betreiber müssen Validierung, Versionierung und Rückrollen klären

Für Teams, die Agenten betreiben oder Frameworks bauen, wird das Harness selbst zum Optimierungsziel. Das Paper verlangt kontinuierliche Validierung, weil sich Aufgabenverteilungen und Evaluatoren ändern. Außerdem fordert es unabhängige Sicherungen für Lernen, Laufzeitrechte und folgenreiche Aktionen. Es nennt Folgen für wissenschaftliche Verlässlichkeit, physische Sicherheit und institutionelle Verantwortlichkeit. Der Abstract bricht an dieser Stelle ab.

Versionierung und Rückrollen nennt der vorliegende Abstract-Auszug nicht; sie bleiben als offene Aufgabe für Betreiber, nicht als Aussage des Papers. Wer von der Entwicklung profitiert oder verliert, ist im Material nicht belegt.