KI SpotlightNewsRSIPO: Agent lernt Skills aus eigenen Trajektorien und misstraut dem Teacher
Ein neues Agentic-RL-Framework lässt Skills und Policy gemeinsam wachsen. Den Leistungsvorsprung nennen bislang nur die Autoren, und das Feld ist dicht besetzt.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- RSIPO ist ein selbstentwickelndes Agentic-RL-Framework, in dem Skills und Policy während des Trainings koevolvieren.
- Die Policy extrahiert Skills aus abgeschlossenen Trajektorien und wird per Trajectory Replay darin optimiert.
- Empirical-Bayes-Shrinkage kalibriert das Vertrauen des Students in die Teacher-Scores dynamisch.
- Experimente mit Qwen-Modellen auf Embodied-Interaction- und suchbasierten Agentenaufgaben; RSIPO übertrifft laut Autoren alle Baselines.
Die Policy zieht ihre Skills selbst aus Trajektorien
RSIPO (Recursive Self-Improving Policy Optimization) ist ein selbstentwickelndes Framework für Agentic Reinforcement Learning. Skills des Agenten und das Policy-Modell wachsen während des Trainings gemeinsam. Die Policy extrahiert die Skills selbst aus abgeschlossenen Trajektorien. Trajectory Replay trainiert diese Fähigkeit zur Skill-Erzeugung anschließend gezielt. Grundlage ist die Kombination aus RLVR (Reinforcement Learning mit verifizierbaren Belohnungen) und On-Policy-Self-Distillation (OPSD). Sie führt Advantages auf Trajektorienebene mit dichter Supervision auf Token-Ebene zusammen. Beschrieben wird das Verfahren in einem Paper der Autoren. Vom Paper liegt bislang nur der Abstract vor.
Empirical-Bayes-Shrinkage soll unzuverlässige Teacher-Scores abfedern
Bei OPSD bewertet ein Teacher-Modell, das privilegierten Kontext erhält, etwa Skills, die Tokens des Studenten. Die Autoren werfen bisherigen Arbeiten vor, zwei Punkte weitgehend zu übersehen: die On-Policy-Entwicklung der Skills und die Verlässlichkeit der Teacher-Supervision. Skill-gestützte Teacher seien nicht durchgehend verlässlich. Zeitweise könnten sie schlechter anleiten. RSIPO setzt deshalb Empirical-Bayes-Shrinkage ein. Der Student kalibriert damit dynamisch, wie stark er den Teacher-Scores vertraut. Wie das mathematisch umgesetzt ist, geht aus dem vorliegenden Abstract nicht hervor.
Der Vorsprung ist Selbstauskunft, und ähnliche Ansätze gibt es schon
RSIPO wurde mit Modellen der Qwen-Familie auf Embodied-Interaction- und suchbasierten Agentenaufgaben getestet. Laut den Autoren übertrifft es alle verglichenen Baselines. Der Abstract bricht bei der Nennung von Qwen2.5-7B ab. Zahlen, Methodendetails und Angaben zur Varianz liegen nicht vor. Der Vorsprung ist damit nicht unabhängig geprüft.
Das Feld ist dicht besetzt. Seed wandelt eigene Trajektorien in Hindsight-Skills um, und die Policy agiert zugleich als Analyzer. Die skill-induzierte Wahrscheinlichkeitsverschiebung dient als dichtes Distillationssignal. GRSD leitet gruppenbasierte privilegierte Guidance aus eigenen verifizierten Rollouts ab und moduliert damit outcome-basierte Advantages. Skill1 trainiert eine einzelne Policy, in der Auswahl, Nutzung und Destillation von Skills gemeinsam koevolvieren. Getestet wurde auf ALFWorld und WebShop. SAGE koppelt GRPO an eine Skill-Bibliothek. Auf AppWorld meldet es 8,9 Prozent höhere Scenario Goal Completion bei 26 Prozent weniger Interaktionsschritten. SkillRL lässt eine SkillBank mit der Policy koevolvieren und nennt über 14 Prozent Vorsprung vor starken Baselines. Alle diese Angaben stammen von den jeweiligen Autoren.
Den Neuigkeitswert von RSIPO gegenüber diesen Arbeiten lässt das vorliegende Material nicht belastbar abgrenzen.
