Mosaic: Neues RL-Verfahren trainiert Agenten über mehrere Sessions pro Trajektorie

Mosaic ersetzt das Broadcasting durch eine hierarchische Schätzung

Ein Forschungsteam stellt mit Mosaic ein Verfahren für agentisches Reinforcement Learning vor, das mehrere Sessions innerhalb einer Trajektorie berücksichtigt. Dafür führen die Autoren das Setting „Multi-Session Agentic Reinforcement Learning“ ein. Eine Trajektorie kann darin beliebig viele Sessions umfassen.

Der Anlass ist eine Lücke zwischen Training und Einsatz. Verfahren wie Context Compaction und Subagent-Forking erzeugen Trajektorien über mehrere Sessions. Die meisten bestehenden Methoden für agentisches RL setzen dagegen Single-Session-Trajektorien voraus, also einen einzigen, fortlaufend wachsenden Kontext.

Üblich ist laut den Autoren das Broadcasting: Der Advantage der gesamten Trajektorie wird an alle Sessions weitergegeben. Damit lassen sich die Beiträge einzelner Sessions nicht unterscheiden. Auch die Zahl sinnvoll eingesetzter Sessions pro Trajektorie bleibt ungesteuert. Mosaic setzt dagegen auf eine kritikerfreie, hierarchische Optimierung, also ohne gelernten Wertschätzer. Auf Trajektorienebene fließen Signale zur Session-Nutzung in die Advantage-Schätzung ein. Auf Session-Ebene wird der Advantage jeder Session anhand ihres geschätzten Grenzbeitrags geformt. Weitere Details zum Algorithmus liegen im Material nicht vor.

Auf BrowseComp mit Qwen3.5-4B liegt Mosaic laut Autoren vorn

Nach Angaben der Autoren übertrifft Mosaic auf BrowseComp mit Qwen3.5-4B das Broadcasting. Das gilt sowohl für das Szenario mit Context Compaction als auch für Subagent-Forking. Laut Projektseite kommt das Verfahren im Mittel mit weniger Sessions aus. Weitere Analysen zeigten Verbesserungen bei Session-Nutzen und Session-Allokation. Die Autoren bezeichnen beides als „vielversprechendes Optimierungsziel“. Das ist eine Selbsteinschätzung.

Die Aussagen stammen von den Autoren selbst. Konkrete Zahlen, Ablationen und Vergleiche mit GRPO, PPO oder anderen Baselines liegen im Material nicht vor. Eine unabhängige Replikation gibt es ebenfalls nicht. Wie groß der Vorsprung ausfällt und woher er kommt, lässt sich deshalb nicht prüfen.

Wer profitieren könnte und was offen bleibt

Betroffen sein könnten Entwicklerinnen und Entwickler sowie Forschende, die Langzeit-Agenten bauen, etwa für Websuche oder Coding. Wer Context Compaction oder Subagent-Forking einsetzt und bislang mit Single-Session-Annahmen trainiert, könnte profitieren. Ein Einsatz in einem Produkt oder einer Trainingspipeline ist nicht belegt. Bislang handelt es sich um ein Forschungsergebnis auf einem Modell mit vier Milliarden Parametern.

Verwandte Arbeiten zu Kontextverwaltung und Credit Assignment gibt es bereits: ECHO, HGPO, CrEST, HiPER und G2PO. Ihre Ergebnisse gehören nicht zu Mosaic. ECHO meldet auf BrowseComp-Plus 43,4 Prozent Genauigkeit, GRPO 28,9 Prozent und SUPO 36,1 Prozent. Das ist ein Resultat jener Arbeit und kein Vergleich mit Mosaic. Wie weit Mosaic über diese Ansätze hinausgeht, lässt sich aus dem Material nicht beurteilen.