KI SpotlightNewsStudie: Voreingenommener LLM-Richter legt Skill-Retirement lahm
Eine neue Studie zeigt, dass ein voreingenommener LLM-Richter in selbstentwickelnden Agenten den Mechanismus zum Verwerfen schlechter Fähigkeiten (Skill Retirement) stillschweigend deaktivieren kann. Der Ausfall tritt ab einem Schwellenwert der False-Pass-Rate auf und ist in aggregierten Metriken ni
Mit KI erstellt◆ Fakten auf einen Blick
- Die Studie untersucht, wie ein voreingenommener LLM-Richter die Skill-Retirement in selbstentwickelnden Agenten beeinflusst.
- Ein voreingenommener Richter fügt nicht nur Rauschen hinzu, sondern schaltet den Kurator stillschweigend ab.
- Symmetrisches Rauschen lässt den Retirement-Mechanismus intakt, aber False-Pass-Bias (Fehler werden als Erfolg gewertet) deaktiviert die beitragsbasierte Retirement ab einem scharfen Schwellenwert (hier False-Pass-Rate 0,45).
- Die Studie verwendet eine corrupted-reward Analyse und eine Verhaltensstudie auf einem referenzfreien Report-Schreiben-Testbed mit einem Code-Generierungs-Cross-Check, wobei Korruption auf eine deterministische Belohnung injiziert wird, um den kausalen Kanal zu isolieren.
- Der Mechanismusfehler ist universell, gilt über Domänen und Fehlerraten hinweg und verschont nur nahezu null False-Pass, verifier-ähnliche Grader.
- Das Downstream-Ergebnis ist regimeabhängig: Die Eval-Qualität verschlechtert sich nur, wenn dieselbe Korruption auch die Skill-Synthese aushungert; andernfalls bleibt sie stabil, sodass der deaktivierte Kurator still ist und in keiner aggregierten Metrik auftaucht.
Bias legt Skill-Retirement lahm
Selbstentwickelnde Agenten verwerfen schlechte Fähigkeiten, indem sie deren Scheitern beobachten. Dieser als Skill Retirement bezeichnete Mechanismus ist die strukturelle Einschränkung, die verhindert, dass eine wachsende Fähigkeitenbibliothek unter die Baseline ohne Fähigkeiten abrutscht. Seine Garantie setzt jedoch eine unverzerrte Belohnung voraus – eine Annahme, die bei LLM-Richtern für referenzfreie Aufgaben nicht gilt. Die Studie zeigt, dass ein voreingenommener Richter nicht nur Rauschen hinzufügt, sondern den Kurator stillschweigend abschaltet. Die Autoren belegen dies mit einer Analyse korrumpierter Belohnungen und einer Verhaltensstudie auf einem referenzfreien Report-Schreiben-Testbed mit Code-Generierungs-Cross-Check; die Korruption wird auf eine deterministische Belohnung injiziert, um den kausalen Kanal zu isolieren. Symmetrisches Rauschen lässt den Retirement-Mechanismus intakt, doch False-Pass-Bias – Fehler, die als Erfolg durchrutschen – deaktiviert die beitragsbasierte Retirement ab einem scharfen Schwellenwert von 0,45. Ab diesem Punkt hilft keine Datenmenge mehr. Die Trennung von echter Retirement und Cap-Eviction-Churn zeigt, dass der Fehler nicht durch Kapazitätsverdrängung entsteht. Der Mechanismusfehler ist universell über Domänen und Fehlerraten hinweg; verschont bleiben nur nahezu false-pass-freie, verifier-ähnliche Grader.
Unsichtbar in aggregierten Metriken
Der Ausfall bleibt in aggregierten Metriken unsichtbar. Symmetrisches Rauschen lässt den Retirement-Mechanismus intakt, weil Fehlurteile in beide Richtungen streuen und die gemessene Beitragsleistung nicht systematisch verzerren. False-Pass-Bias dagegen verschiebt die Bewertung einseitig: Fehlschläge werden als Erfolge gewertet, sodass die beitragsbasierte Retirement ab dem Schwellenwert von 0,45 deaktiviert wird. Anders als symmetrisches Rauschen, das sich im Mittel ausgleicht, bleibt der Bias bei mehr Testdaten erhalten, weil zusätzliche Versuche nur den Zufallsfehler verkleinern, nicht die systematische Verschiebung. Entscheidend ist, dass das Downstream-Ergebnis regimeabhängig ist. Die Eval-Qualität verschlechtert sich nur, wenn dieselbe Korruption auch die Skill-Synthese aushungert. Bleibt die Synthese unberührt, hält die Eval-Qualität stabil – obwohl der Kurator abgeschaltet ist. Deshalb taucht der Defekt in keiner aggregierten Metrik auf. Die Studie wertet den Beitrag als Verhaltenssicherheitsergebnis, nicht als Performance-Ergebnis.
