ReHarness: Rückwärtsrevision macht Sprachmodell-Agenten kontinuierlich lernfähig

ReHarness: Rückwärtsrevision für agentisches Online-Lernen

Sprachmodell-Agenten operieren zunehmend über lange Interaktionsströme und müssen sich dabei an Verteilungsverschiebungen anpassen. Genau dafür schlägt ein neues Paper ein rekurrentes Harness-Framework namens ReHarness vor. Es ergänzt das bisherige Vorwärtslesen und -schreiben in Agenten-Harnessen um eine Rückwärtsrevision – und zwar unter einem strikten Online-Streaming-Protokoll. Die Arbeit ist unter der arXiv-ID 2610.12668 verfügbar.

Bisherige Harness-Ansätze entwickeln ihren Zustand entweder nur durch Vorwärtsinformation oder greifen für die Optimierung auf zusätzliche Replay- oder Validierungsdaten zurück. Vorwärtsgerichtete Systeme können einmal gespeicherte Reflexionen nicht mehr korrigieren, wenn sich die Umgebung ändert; veraltete oder übergeneralisierte Erfahrungen bleiben im Zustand und verfälschen spätere Entscheidungen. Ansätze mit Replay- oder Validierungsdaten sind dagegen nicht mit einem strikten Online-Streaming-Protokoll vereinbar, weil sie auf gespeicherte Beispiele oder separate Validierungssets zugreifen.

ReHarness stellt dem eine zentrale Frage entgegen: Welche Information hätte im Harness-Zustand anders erfasst werden können, um die aktuelle Instanz im Strom besser zu informieren? Nach jeder Instanz wird die resultierende Trajektorie als Feedback genutzt, um die für diese Instanz abgerufenen Reflexionen zu revidieren. Das Feedback wird dadurch rückwärts durch den textuellen Harness-Zustand propagiert. Diese Rückwärtsrevision ist der Kernunterschied zu bisherigen Harness-Ansätzen, die nur vorwärtsgerichtete Informationsflüsse oder zusätzliche Datenquellen nutzen. Der Harness-Zustand besteht aus textuellen Reflexionen, die während der Interaktion entstehen und später abgerufen werden. ReHarness zielt darauf, genau diesen Zustand kontinuierlich zu korrigieren, ohne das zugrunde liegende Sprachmodell selbst zu verändern.

Wie Rückwärtsrevision im strikten Online-Streaming funktioniert

Der Mechanismus setzt an der Verarbeitung jeder einzelnen Instanz an. Zunächst liest das Harness vorwärts: Es ruft die für die aktuelle Instanz relevanten Reflexionen aus seinem textuellen Zustand ab und schreibt gegebenenfalls neue Informationen hinein. Nachdem die Instanz abgeschlossen ist, entsteht eine Trajektorie – der vollständige Verlauf der Interaktion. Diese Trajektorie dient als Feedback. ReHarness nutzt sie, um genau die Reflexionen zu revidieren, die für diese Instanz abgerufen wurden. Das Feedback wird also nicht nur lokal gespeichert, sondern rückwärts durch den textuellen Harness-Zustand propagiert. Auf diese Weise korrigiert das System die Teile seines Zustands, die zur aktuellen Entscheidung beigetragen haben.

Das strikte Online-Streaming-Protokoll bedeutet, dass jede Instanz genau einmal verarbeitet wird und keine zusätzlichen Replay- oder Validierungsdaten verwendet werden. Replay-Daten würden erfordern, vergangene Instanzen erneut zu verarbeiten; Validierungsdaten wären ein separates, nicht aus dem Strom stammendes Set. Beides ist im strikten Online-Streaming nicht vorgesehen. Die Revision muss daher unmittelbar aus der aktuellen Trajektorie abgeleitet werden. Genau darin liegt der Unterschied zu Ansätzen, die für die Harness-Optimierung auf gespeicherte Beispiele oder separate Validierungsdaten zurückgreifen.

Der Harness-Zustand ist eine Sammlung textueller Reflexionen, die als kondensierte Erfahrungen aus früheren Interaktionen dienen. Die leitende Frage lautet, welche Information im Harness-Zustand anders hätte erfasst werden können, um die aktuelle Instanz besser zu informieren. Die Revision zielt darauf, genau diese Lücke zu schließen. Dadurch bleibt das System lernfähig, ohne auf externe Validierungsdaten angewiesen zu sein.

Benchmarks und Backbones: ReHarness übertrifft starke Baselines

Die Autoren evaluieren ReHarness über drei Continual-Learning-Benchmarks und drei Sprachmodell-Backbones. Die konkreten Namen der Benchmarks und Backbones werden im Abstract nicht einzeln aufgeführt; die Aussage stützt sich auf die berichtete konsistente Überlegenheit über alle drei Benchmarks und Backbones hinweg. Die Ergebnisdarstellung vergleicht ReHarness mit drei Kategorien von Baselines: Raw-Context-Baselines, Memory- und Reflection-basierten Methoden sowie Prompt-Optimierungsansätzen.

Raw-Context-Baselines verarbeiten lediglich den aktuellen Kontext ohne persistenten Harness-Zustand. Sie können keine Erfahrungen über Instanzen hinweg speichern und sind daher bei Verteilungsverschiebungen im Nachteil. Memory- und Reflection-basierte Methoden speichern vergangene Erfahrungen oder Reflexionen, nutzen aber typischerweise nur Vorwärtsinformation oder zusätzliche Replay-Daten. Sie können einmal gespeicherte Reflexionen nicht rückwirkend korrigieren, wenn diese veralten. Prompt-Optimierungsansätze passen die Instruktionen an, ohne die während der Interaktion entstehenden Reflexionen rückwärts zu korrigieren. Sie optimieren den initialen Prompt, nicht den dynamisch wachsenden Zustand.

ReHarness kombiniert dagegen Vorwärtslesen und -schreiben mit einer Rückwärtsrevision, die das Feedback der aktuellen Trajektorie direkt in den Zustand zurückschreibt. Die Ursache für die konsistente Überlegenheit liegt in dieser Rückwärtsrevision: Während Raw-Context keinerlei persistenten Zustand besitzt und Memory-/Reflection-Methoden einmal gespeicherte Reflexionen nicht mehr korrigieren können, erlaubt ReHarness die nachträgliche Anpassung genau der Reflexionen, die zur aktuellen Entscheidung beigetragen haben. Dadurch werden veraltete oder übergeneralisierte Erfahrungen kontinuierlich korrigiert, was insbesondere unter Verteilungsverschiebungen entscheidend ist. Prompt-Optimierungsansätze optimieren nur den initialen Prompt und können dynamisch entstehende Reflexionen nicht rückwirkend verbessern. Die Breite über drei Benchmarks und drei Backbones soll die Allgemeingültigkeit der Ergebnisse stützen.

Revisionen korrigieren veraltete und übergeneralisierte Erfahrungen

Weitere Analysen im Paper befassen sich mit der Qualität der erzeugten Revisionen. Demnach produziert ReHarness quellenbasierte und sinnvolle Revisionen: Die Änderungen am Harness-Zustand lassen sich auf die tatsächliche Trajektorie zurückführen und sind nicht beliebig. Das bedeutet, dass jede Revision durch konkrete Beobachtungen aus der aktuellen Interaktion gestützt wird, nicht durch freie Assoziationen des Modells.

Unter Verteilungsverschiebungen korrigiert das System übergeneralisierte oder veraltete Erfahrungen. Das ist relevant, weil Agenten in langen Interaktionsströmen häufig mit Situationen konfrontiert werden, die früheren Erfahrungen widersprechen. Eine Reflexion, die in einem früheren Kontext korrekt war, kann unter neuen Bedingungen falsch oder zu allgemein sein. ReHarness revidiert solche Reflexionen anhand der aktuellen Trajektorie.

Dadurch verbessert sich nach Angaben der Autoren sowohl die Stabilität als auch die Plastizität des Lernens. Stabilität bedeutet, dass bereits erworbenes nützliches Wissen nicht durch neue, widersprüchliche Erfahrungen zerstört wird. Plastizität bedeutet, dass das System weiterhin in der Lage ist, sich an neue Verteilungen anzupassen. Die Rückwärtsrevision wirkt hier als Korrekturmechanismus, der beide Ziele gleichzeitig adressiert: Sie verhindert, dass veraltete Reflexionen die Leistung auf früheren Aufgaben verschlechtern, und ermöglicht gleichzeitig die Anpassung an neue Gegebenheiten. Die Analysen zeigen damit, dass die Revision nicht nur die Leistung auf Benchmarks verbessert, sondern auch inhaltlich nachvollziehbar ist.

ReHarness als dritter Weg: Rückwärtsrevision statt Replay oder reiner Vorwärtsentwicklung

ReHarness positioniert sich in einem Forschungsfeld, das sich mit der Frage beschäftigt, wie Sprachmodell-Agenten nach dem Deployment weiterlernen können. Klassisches Continual Learning verändert meist die Modellparameter. ReHarness setzt dagegen am Harness an, also an der textuellen Infrastruktur aus Reflexionen, die das Modell umgibt. Das Paper grenzt sich von zwei bestehenden Linien ab: Ansätze, die den Harness-Zustand nur durch Vorwärtsinformation entwickeln, können einmal gespeicherte Reflexionen nicht mehr korrigieren, wenn sich die Umgebung ändert. Ansätze, die für die Harness-Optimierung auf Replay- oder Validierungsdaten zurückgreifen, sind nicht mit einem strikten Online-Streaming-Protokoll vereinbar.

Im Vergleich zu diesen Linien bietet ReHarness einen dritten Weg: Es nutzt das Feedback der aktuellen Trajektorie, um den Zustand rückwärts zu revidieren, ohne auf zusätzliche Datenquellen angewiesen zu sein. Damit kombiniert es nach Darstellung der Autoren Vorwärtslesen und -schreiben mit Rückwärtsrevision unter einem strikten Online-Protokoll – ein Ansatz, der in dieser Form bisher nicht vorlag. Die berichteten Ergebnisse über drei Benchmarks und drei Backbones untermauern diese Position.

Verwechslungsgefahr: ReHarness ist nicht RecHarness

Die Namensähnlichkeit zwischen ReHarness und RecHarness ist irreführend, denn die beiden Systeme adressieren unterschiedliche Probleme. RecHarness ist ein Bandit-Routed Agentic Harness für selbst-evolvierende Empfehlungssysteme. Es trennt den Optimierungsprozess in zwei Schritte: Ein Bandit-Router wählt anhand historischer Validierungsdaten die nächste Modifikationsrichtung aus, und ein Sprachmodell erzeugt innerhalb dieser Richtung eine konkrete Optimierungshypothese samt ausführbarem Code-Edit. Ein Jump-Basin-Mechanismus aktiviert einen strukturellen Sprung, wenn lokale Edits stagnieren. ReHarness hingegen ist ein rekurrentes Harness für agentisches Continual Learning. Es ergänzt Vorwärtslesen und -schreiben um Rückwärtsrevision im strikten Online-Streaming und zielt darauf ab, Reflexionen im Harness-Zustand zu korrigieren.

Die Unterschiede lassen sich entlang mehrerer Dimensionen fassen. Der Zweck von RecHarness liegt in der automatisierten Optimierung von Empfehlungsmodellen, während ReHarness kontinuierliches Lernen von Sprachmodell-Agenten aus Interaktionsströmen ermöglicht. Der Mechanismus von RecHarness nutzt einen Bandit-Router zur Auswahl der nächsten Modifikationsrichtung und ein Sprachmodell zur Erzeugung von Code-Edits; ReHarness revidiert textuelle Reflexionen rückwärts anhand der aktuellen Trajektorie. Die Datenbasis von RecHarness stützt sich auf historische Validierungsdaten, während ReHarness strikt online ohne Replay- oder Validierungsdaten arbeitet. Der Output von RecHarness besteht aus ausführbarem Code, der von ReHarness aus korrigierten textuellen Reflexionen im Harness-Zustand. Die Ähnlichkeit der Namen sollte nicht darüber hinwegtäuschen, dass es sich um getrennte Forschungslinien handelt.