LEGO-RL verbindet Coding-Agent-Harnesses mit Policy-Gradient-Training

LEGO-RL verbindet Agent-Harnesses mit Policy-Gradient-Training

LEGO-RL ist ein neues System, das laut dem Abstract eines aktuellen Papers native Coding-Agent-Harnesses mit skalierbarem Policy-Gradient-Training verbindet. Statt separater Reinforcement-Learning-Umgebungen setzt es direkt auf die Ausführungsumgebungen, in denen Coding-Agenten bereits arbeiten. Dafür kombiniert LEGO-RL drei zentrale Komponenten: In-Process-LLM-Proxying, Sandbox-Orchestrierung und integriertes Monitoring. Das In-Process-LLM-Proxying erlaubt es, Sprachmodelle innerhalb des laufenden Prozesses anzusteuern, ohne separate Schnittstellen zu benötigen. Die Sandbox-Orchestrierung koordiniert die isolierten Ausführungsumgebungen, in denen Code ausgeführt und getestet wird. Das integrierte Monitoring schließlich erfasst die für das Policy-Gradient-Training notwendigen Signale direkt aus dem Harness. Diese Kombination soll die Lücke zwischen den nativen Harness-Umgebungen und den Anforderungen des Policy-Gradient-Trainings schließen. Bisher waren diese Umgebungen nicht für ein solches Training ausgelegt, was den Einsatz von Reinforcement Learning in Coding-Agent-Szenarien erschwerte. LEGO-RL verspricht, diese Einschränkung zu überwinden, indem es die Trainingsinfrastruktur in die Harness-Umgebung selbst verlagert.

Ziel: Bessere Leistung für Sparse-MoE-Modelle in Coding-Agent-Umgebungen

Reinforcement Learning für Coding Agents setzt zunehmend auf langlaufende Agent-Harnesses, die Tool-Integration, Repository-Kontexte und Ausführungs-Feedback verwalten. Diese Harnesses stellen die Umgebung bereit, in der ein Agent Code schreibt, ausführt und aus den Ergebnissen lernt. Allerdings sind die nativen Ausführungsumgebungen dieser Harnesses grundsätzlich nicht auf Policy-Gradient-Training ausgerichtet. Policy-Gradient-Verfahren benötigen kontinuierliche, differenzierbare Signale und eine enge Kopplung zwischen Modell und Umgebung, die in herkömmlichen Harness-Architekturen oft fehlt. LEGO-RL zielt darauf ab, genau diese Lücke zu schließen. Das System soll die Leistung von Sparse-MoE-Modellen über mehrere Harnesses hinweg verbessern. Sparse Mixture-of-Experts-Modelle aktivieren nur einen Teil ihrer Parameter pro Eingabe und sind daher recheneffizient, stellen aber besondere Anforderungen an das Training. Indem LEGO-RL die nativen Harnesses direkt für das Policy-Gradient-Training nutzt, sollen diese Modelle besser auf die Anforderungen von Coding-Agenten abgestimmt werden. Das Ziel ist eine Leistungssteigerung über verschiedene Harness-Implementierungen hinweg, nicht nur in einer einzelnen Umgebung.