ERPO ersetzt aktionsseitige Policy-KL durch eingangsseitige Kontrolle

ERPO ersetzt aktionsseitige Policy-KL durch eingangsseitige Kontrolle

Ein neues Paper trägt den Titel 'Beyond the Stability-Exploration Dilemma: Environmental Regularization for LLM Policy Optimization'. Darin stellen die Autoren ein Verfahren namens ERPO vor. ERPO zielt auf das Reinforcement Learning großer Sprachmodelle. Der zentrale Unterschied zu bisherigen Ansätzen liegt in der Platzierung der Regularisierung: Statt die Policy auf der Aktionsseite zu regularisieren, kontrolliert ERPO die Verteilung der Eingabeabfragen. Die Aktionsseite umfasst die vom Modell erzeugten Antworten; die Eingangsseite betrifft die Abfragen, die das Modell zur Verarbeitung erhält. Durch diese Verschiebung greift die Regularisierung nicht mehr direkt in das Antwortverhalten ein, sondern setzt früher an. Das Paper beschreibt diesen Wechsel als Ersatz der aktionsseitigen Policy-Regularisierung durch eine eingangsseitige Kontrolle der Abfrageverteilung. Diese Verschiebung ist der Kern des Ansatzes.

Stabilitäts-Explorations-Dilemma als Ausgangslage

Die Ausgangslage für ERPO ist ein Zielkonflikt in der Policy-Optimierung großer Sprachmodelle. Einerseits muss das Training stabil bleiben, andererseits soll das Modell weiterhin unterschiedliche Antworten erkunden, um bessere Strategien zu finden. Dieser Kompromiss wird derzeit durch einen aktionsseitigen Policy-KL-Regularisierer vermittelt. Da dieser Regularisierer auf der Aktionsseite ansetzt, wirkt er direkt auf die generierten Antworten. Das Beibehalten dieses Regularisierers schränkt deshalb das Antwortverhalten ein und verbraucht das aktionsseitige Explorationsbudget. Das Paper beschreibt die Situation als doppelte Bindung für Praktiker: Das Beibehalten von Policy-KL schränkt das Antwortverhalten ein und verbraucht das aktionsseitige Explorationsbudget, während das Weglassen des Regularisierers die Stabilität gefährdet. Praktiker stehen damit vor der Wahl zwischen Instabilität und Explorationsverlust. Dieser Konflikt bildet den Hintergrund für den neuen Ansatz. Er ist der Grund, warum eine Verlagerung der Regularisierung notwendig erscheint.

ERPO zielt auf Stabilisierung ohne Explorationsverlust

ERPO setzt genau an diesem Dilemma an. Das Verfahren zielt darauf ab, das Reinforcement Learning für Sprachmodelle zu stabilisieren und gleichzeitig die Antwortexploration zu erhalten. Indem die Regularisierung von der Aktionsseite auf die Eingangsseite verlagert wird, entfällt der direkte Eingriff in die Antwortverteilung. Die Exploration auf der Antwortebene bleibt damit unangetastet, während die Kontrolle der Abfrageverteilung für Stabilität sorgt. Die Autoren argumentieren, dass die eingangsseitige Kontrolle die Stabilität gewährleistet, ohne das Antwortverhalten einzuschränken. Damit bleibt das aktionsseitige Explorationsbudget erhalten, das bei herkömmlichen Regularisierern verbraucht wird. So soll der Zielkonflikt aufgelöst werden, ohne dass Praktiker zwischen Stabilität und Exploration wählen müssen.