KI SpotlightNewsS3AC: Forscher aus Shanghai setzen beim Reasoning-Training wieder auf einen Critic
Die Actor-Critic-Methode für RLVR bei Long-CoT soll ohne gruppierte Rollouts auskommen. Die Ergebnisse sind Selbstauskünfte eines Preprints.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- Das Paper „S3AC: Stabilized, Selective, and Scalable Actor-Critic for LLM Reasoning“ ist auf arXiv und Hugging Face verzeichnet.
- S3AC nutzt einen trainierten Critic mit token-spezifischen Vorteilen und promptspezifischen Baselines.
- DAPS schätzt Prompt-Schwierigkeit mit promptbezogener Baseline und kombiniert sie mit Ergebnishistorie.
- S3AC verbessert Group-Rollout-Leistung bei Modellen von 1,5B bis 397B Parametern und übertrifft GRPO-X.
- S3AC hält bei 35B Single-Rollout-Training Leistung, während Critic-free-Baselines nachlassen.
S3AC setzt auf einen trainierten Critic
Forschende des Shanghai AI Laboratory stellen mit S3AC eine Actor-Critic-Methode für Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) bei langem Chain-of-Thought-Reasoning vor. Die Zuordnung zur Institution stammt nur aus der Sekundärquelle aiweekly.co. Als Autoren nennt sie Shuo Shen, Guangran Cheng, Chengqi Lyu, Xiangsen Wang, Yanan Sun und Wenwei Zhang. Das Paper „S3AC: Stabilized, Selective, and Scalable Actor-Critic for LLM Reasoning“ ist auf arXiv verzeichnet. Ein Peer Review ist nicht belegt.
Der trainierte Critic steht im Mittelpunkt. Laut Abstract liefert er token-spezifische Vorteile und promptspezifische Baselines. Verbreitete Critic-freie Verfahren leisten beides nicht. Ihnen fehlt die Zuordnung auf Token-Ebene. Zudem stützen sie sich in der Regel auf gruppierte Rollouts, um Baselines pro Prompt zu schätzen.
Zwei Hürden beim Critic-Training, DAPS zur Prompt-Auswahl
Laut den Autoren ist der Critic der Grund, warum Critic-freie Methoden bei RLVR so verbreitet sind: Sein Training sei schwierig und teuer. Für Long-CoT nennen sie zwei Hindernisse. Die Trainingsdaten decken Trajektorien unterschiedlicher Länge nur unzureichend ab. Außerdem dominiert der neu initialisierte Value-Head die frühen Gradienten. Dagegen stellen sie ein praktisches Trainingsrezept vor. Details dazu enthält das vorliegende Material nicht.
Auf dem Critic setzt Difficulty-Aware Prompt Sampling (DAPS) auf. Die Methode schätzt die Schwierigkeit eines Prompts aus dessen Critic-Baseline und verbindet diese Schätzung mit der Ergebnishistorie. Prompts werden so vor der Generierung ausgewählt. Das soll Rollout-Verschwendung verringern, und zwar ohne Offline-Schwierigkeitsinitialisierung. Laut Abstract kommt die Methode dadurch ohne gruppierte Rollouts aus und arbeitet im Single-Rollout-Training.
Selbstberichtete Gewinne gegenüber GRPO-X, aber ohne Zahlen im Material
Nach Angaben der Autoren verbessert S3AC die Leistung bei Group-Rollouts über dichte und Mixture-of-Experts-Modelle mit 1,5B bis 397B Parametern. Die Methode übertreffe zudem die moderne GRPO-Variante GRPO-X. Bei 35B bleibe das Single-Rollout-Training stabil. Getestete Critic-freie Baselines hätten dagegen nach anfänglichen Gewinnen nachgelassen.
Das sind Selbstauskünfte. Das vorliegende Material enthält weder Zahlen noch Benchmarks noch eine unabhängige Prüfung. Belastbar wird die Aussage erst mit dem Volltext samt Tabellen, Setups und Baselines, mit veröffentlichtem Code und Checkpoints sowie mit einer unabhängigen Reproduktion.
Als Kontext nennt das Material drei verwandte Arbeiten. VAPO ist ein wertbasiertes Framework für Long-CoT-Reasoning. VinePPO löst Credit Assignment per Monte-Carlo statt über ein Value-Netz. GRPO-λ erweitert GRPO Critic-frei um Credit Assignment. Direkte Vergleiche mit S3AC enthält das Material nicht.
