Harness Scaling: Agentisches RL soll über viele Ausführungskonfigurationen trainieren

Agentisches RL soll nicht mehr nur durch eine einzige Harness laufen

Das Paper „Harness Scaling for Generalizable Agentic Reinforcement Learning“ führt Harness Scaling als neue Skalierungsdimension ein. Das Training soll nicht mehr durch eine feste Harness laufen, sondern über einen faktorisierten Raum unterschiedlicher Ausführungskonfigurationen. Die Harness bestimmt, wie ein Modell Werkzeuge nutzt, Kontext verwaltet und langfristige Interaktion koordiniert.

Bisherige Ansätze trainieren laut den Autoren meist mit einer einzigen festen Harness. Das könne zur Spezialisierung führen und den Transfer auf andere Konfigurationen begrenzen. Das Modell lerne dann die Schnittstellen und Ausführungsregeln genau dieser einen Harness, statt allgemeinere Fähigkeiten zur Ausführung zu entwickeln.

Abgrenzen lässt sich der Ansatz von zwei bekannten Dimensionen. Task Scaling erweitert „what to solve“, Environment Scaling „where to operate“. Harness Scaling betrifft dagegen „how to execute“: Aufgabe und Umgebung bleiben gleich, nur die Harness wechselt. Das Paper ist auf Hugging Face erschienen. Dazu gibt es ein GitHub-Repository.

Fünf Komponenten, kompakte Auswahl, Cross-Harness-Training: die drei Bausteine

Das Verfahren besteht laut den Autoren aus drei Bausteinen. Zuerst bauen sie einen strukturierten Harness-Raum auf, in dem sich Ausführungskonfigurationen in fünf Komponenten zerlegen lassen. Damit wird die Vielfalt der Harnesses systematisch beschreibbar. Welche fünf Komponenten das sind, geht aus dem vorliegenden Material nicht hervor.

Als Nächstes wählen die Autoren eine kompakte Teilmenge repräsentativer Konfigurationen für das Training. Sie soll einzelne Komponenten und Komponentenpaare ausgewogen abdecken, sodass nicht jede mögliche Kombination trainiert werden muss.

Der dritte Baustein ist Cross-Harness-RL: Dieselbe Aufgabe wird unter strukturell benachbarten Harnesses trainiert. Globale Diversität trifft so auf kontrollierte lokale Variation.

Was die Autoren berichten und was im Material fehlt

Laut den Autoren verbessert Harness Scaling die Generalisierung auf ungesehene White-Box-Konfigurationen konsistent, über mehrere Benchmarks, Modellgrößen und RL-Algorithmen hinweg. Modelle, die mit strukturierter White-Box-Variation trainiert wurden, sollen sich außerdem auf ungesehene externe Black-Box-Harnesses übertragen. Sie sollen Modelle übertreffen, die auf einer einzelnen komplexen Black-Box-Harness trainiert wurden. Auch die Einschätzung, die Ergebnisse etablierten Harness Scaling als eigene Dimension, stammt von den Autoren.

Prüfen lässt sich das bislang kaum. Die Zahlen selbst fehlen im vorliegenden Material, und der Abstract liegt abgeschnitten vor. Benchmarks und Modellgrößen werden nicht genannt. Eine unabhängige Replikation gibt es nicht. Nötig sind der Volltext mit Tabellen und Baselines sowie Nachprüfungen durch Dritte.

Wer davon profitieren könnte, ist eine Einordnung aus der Motivation der Quellen, kein Ergebnis der Studie. Infrage kommen Entwickler offener Agentenmodelle mit Open Weights und Teams, die RL bislang mit einer einzelnen Harness betreiben. Das ebenfalls neue OpenVLHarness behandelt eine andere Frage. Es handelt sich um eine Inferenz-Harness für visuelles Tool-Use, nicht um ein Verfahren für RL-Training über viele Harnesses. Ein Ergebnisvergleich ist daher nicht möglich.