GRSE: Verfahren soll schädliche Agenten-Skills über den Vergleich wiederholter Ausführungen erkennen

GRSE vergleicht wiederholte Ausführungen, um schädliche Skills aufzuspüren

GRSE (Group-Relative Skill Evolution) überarbeitet die wiederverwendbaren Skills kooperativer Sprachmodell-Agenten. Die Gewichte der Modelle bleiben unverändert. Jede Frage läuft mehrfach unter denselben Skill-Bibliotheken. Laut dem veröffentlichten Repository durchläuft jede Trainingsfrage standardmäßig G=4-mal das gesamte Team, und jede Ausführung erhält einen gruppenrelativen Advantage. Das Verfahren ist von GRPO inspiriert.

Ein Critic betrachtet die gesamte Gruppe. Er stuft einzelne Agent-Skill-Paare als helped, harmful, neutral oder redundant ein. Bei Ausführungen mit niedrigem Advantage benennt er den fehlerhaften Schritt sowie den verantwortlichen Agenten und Skill. Verweise auf Schritte, Agenten und Skills werden gegen die Trajektorie geprüft. Ungültige Verweise repariert das System einmal.

Der Unterschied zu bisherigen Methoden liegt in der Zuordnung des Erfolgs. Diese vergeben Credit an die Skills, die in einer Trajektorie vorhanden waren. Die Autoren halten dagegen: Anwesenheit ist nicht Verantwortung. Ein schädlicher Skill, der in erfolgreichen Läufen aktiv war, bekäme trotzdem positiven Credit. GRSE vergleicht deshalb die Ausführungen innerhalb der Gruppe. Die Skill-Updates selbst laufen über dieselben vier Operatoren (induct, refine, consolidate, prune) und dasselbe Validierungs-Gate wie bei MASkills. Laut Repository unterscheidet sich das Verfahren somit allein in der Credit Assignment.

Gewinne bei Multi-Hop-Fragen, Robustheit bei eingepflanzten schädlichen Skills

Die Autoren testeten GRSE auf HotpotQA und LoCoMo mit zwei Open-Weight-Actors. Nach ihren Angaben schlägt das Verfahren den Vorgänger MASkills auf HotpotQA und in jeder LoCoMo-Kategorie außer Open-Domain. Die größten Zuwächse entfallen auf Multi-Hop-Fragen: +6,7 und +3,2 F1. Laut Paper beruhen sie auf verlässlicherem Retrieval statt auf Antworten ohne Evidenz. Die gelernten Skills übertragen sich außerdem zwischen den Multi-Hop-Aufgaben.

Zusätzlich prüften die Autoren eine Bibliothek mit absichtlich eingepflanzten schädlichen Skills. GRSE weist jedem dieser Skills das richtige Vorzeichen zu und erreicht demnach wieder den Score einer sauberen Bibliothek (+6,3 Punkte). MASkills ordnet zwei der Skills falsch zu und fällt unter seinen Ausgangswert.

MASkills kombiniert skill-konditionierte Credit Assignment, hierarchische Credit-Aggregation und momentum-geglättete Optimierung. Evaluiert wurde es auf HotpotQA, LoCoMo und GAIA. Der Code ist öffentlich.

Autorenangaben noch ohne unabhängige Replikation

Die Aussagen, GRSE „outperforms prior methods“ und sei robust gegenüber korrumpierten Bibliotheken, stammen aus dem Abstract der Autoren. Sie sind Selbstdarstellung, keine bestätigten Befunde. Nachprüfbar sind sie über das veröffentlichte GitHub-Repository mit Quick Start, Konfiguration und Projektstruktur, über Streuungen über mehrere Seeds und über unabhängige Replikation. Eine solche liegt nach derzeitigem Stand nicht vor.

Relevant ist das vor allem für Entwickler und Betreiber von Multi-Agenten-Systemen mit Skill-Bibliotheken sowie für Forschende zu MASkills und Skill-Evolution. Ob und wie stark Anwender in der Praxis profitieren, lässt sich dem Material nicht entnehmen.