IBM: Harness-Wechsel verschiebt AppWorld-Erfolgsrate von 30 auf 81 Prozent

IBM: Harness-Wechsel verschiebt AppWorld-Erfolgsrate von 30 auf 81 Prozent

Nach Angaben von IBM Research hängt die Aufgabenerfüllung auf AppWorld stark vom Agent-Harness ab, nicht nur vom Modell. Im Hugging-Face-Beitrag „CUGA Policy Playground“ berichtet das CUGA-Team, drei Harnesses mit demselben Open-Weight-Modell auf 90 AppWorld-Aufgaben getestet zu haben: CUGA, Hermes von Nous Research und Deep Agents von LangChain. Die Erfolgsraten lagen demnach zwischen 30 und 81 Prozent. Welcher Harness welchen Wert erreichte, geht aus dem vorliegenden Material nicht hervor.

Das ist eine Herstellerangabe. Der Beitrag stammt vom Entwickler eines der verglichenen Harnesses und endet mit der Empfehlung, CUGA im Unternehmenseinsatz zu nutzen. Eine unabhängige Überprüfung liegt nicht vor. Eine chinesischsprachige Zusammenfassung eines IBM-Beitrags führt CUGA auf AppWorld und WebArena jeweils seit sieben Monaten an erster Stelle. Auch diese Aussage stammt vom Hersteller. Sie ließe sich an den offiziellen Leaderboards prüfen, was bislang nicht geschehen ist.

Drei Harnesses, drei Einsatzprofile: Was CUGA, Hermes und Deep Agents laut Beschreibung leisten

Die drei Systeme zielen auf unterschiedliche Aufgaben. CUGA (Configurable Generalist Agent) ist laut IBM ein Open-Source-Harness von IBM Research. Entwickler binden Tools an, etwa APIs, MCP-Server oder Python-Funktionen, dazu optionale Policies und Dokumente. IBM nennt fünf Policy-Typen, darunter Intent Guard, Playbooks, Tool Approval und ToolGuard. Der Betrieb ist auf eigener Infrastruktur möglich, laut IBM auch in souveränen Clouds und in Air-Gap-Umgebungen.

Hermes von Nous Research beschreibt sich als selbstverbessernden Agenten mit Lernschleife. Er legt aus Erfahrung Skills an, behält Wissen über Sitzungen hinweg und läuft unabhängig vom Modell, etwa auf einem günstigen VPS oder serverless. Dass er als einziger Agent eine eingebaute Lernschleife besitzt, behauptet der Hersteller selbst.

Deep Agents von LangChain ist ein Open-Source-Harness für langlaufende Aufgaben. Planung, Kontextmanagement, Subagenten mit isoliertem Kontext und ein virtuelles Dateisystem gehören dazu. IBM bewertet Hermes und Deep Agents in ihren Einsatzfeldern, also Always-on-Assistenten und langen Rechercheaufgaben, als „excellent“. Für Unternehmensarbeit sei CUGA passender. Dabei handelt es sich um die Einschätzung des CUGA-Entwicklers, nicht um ein Testergebnis.

Offen bleiben Modell, Split, Metrik und Streuung – und IBMs eigene Einschränkung

Im vorliegenden Material fehlen die Angaben, die eine Bewertung erst ermöglichen: welches Modell lief, welcher Aufgaben-Split galt, wie der Erfolg gemessen wurde, wie viele Läufe stattfanden und wie stark die Ergebnisse streuen. Auch die Konfiguration der konkurrierenden Harnesses ist nicht dokumentiert. Gerade bei einem Test, den der Entwickler eines Kandidaten selbst durchführt, wiegt das schwer. Die Konkurrenz kann unterschiedlich gut eingestellt sein. IBM räumt selbst ein, dass der Benchmark weder Regeldurchsetzung noch Deployment-Aspekte misst. Genau diese Punkte führt das Unternehmen aber als Gründe für die Empfehlung von CUGA an.

Andere Quellen berichten ebenfalls von starkem Einfluss des Harness. IBM zitiert eine Analyse, wonach dasselbe Modell auf SWE-bench Pro allein durch den Harness von 23 auf 52 Prozent kam. Im Material liegt diese Analyse nur sekundär vor. Ein Beitrag auf futureagi.com nennt für Claude Opus 4.5 auf SWE-bench Pro 45,89 Prozent bei Scales SWE-agent. Augment Code meldet für Claude Code, Cursor und Auggie Werte in den niedrigen 50ern. Der Autor des futureagi-Beitrags folgert daraus, dass derselbe Modellscore je nach Harness abweicht. Das ist seine Schlussfolgerung, kein Primärbeleg. Die Spannen lassen sich nicht vergleichen, weil Modelle, Harness-Paare und Messaufbauten verschieden sind.

Für Teams folgt daraus: Harness und Modell gemeinsam auf der eigenen Aufgabe evaluieren, statt Leaderboard-Werte zu übernehmen.