KI SpotlightNewsPaper: RL-Gewinn bei Qwen3 im NO-THINK-Modus stammt offenbar aus reaktiviertem Denken
Die Autoren von „The Thinking Leakage in Reinforcement Learning for LLMs“ stützen sich auf drei Belegebenen. Eine unabhängige Bestätigung fehlt bislang.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- Alibabas Qwen-Team veröffentlichte Qwen3 Ende April 2025; sechs dichte Modelle sind unter Apache 2.0 verfügbar.
- Die Autoren trainierten Qwen3-1.7B, 4B und 8B mit GRPO im NO-THINK-Modus.
- Laut Paper nähert sich ein stärkeres RL-Update der THINK-Modus-Genauigkeit, übertrifft sie aber nicht.
- Bei Qwen3-8B entfernt das Ersetzen des THINK-bezogenen Aktivierungs-Unterraums den Großteil des RL-Gewinns.
- Laut Autoren stammt der RL-Gewinn weitgehend aus teilweiser Reaktivierung von THINK-Fähigkeiten.
RL im NO-THINK-Modus reaktiviert offenbar vorhandenes Denken
Ein Teil des Leistungsgewinns durch Reinforcement Learning im NO-THINK-Modus hybrider Modelle wie Qwen3 geht offenbar auf die teilweise Reaktivierung vorhandenen Denkens zurück. Neue Reasoning-Fähigkeiten lernen die Modelle dem Paper zufolge kaum. Das argumentiert die Arbeit „The Thinking Leakage in Reinforcement Learning for LLMs“, veröffentlicht auf Hugging Face.
Hybride Reasoning-Modelle schalten zwischen einem THINK- und einem NO-THINK-Modus um, und zwar über wenige Chat-Template-Tokens. Ein verbreitetes Vorgehen trainiert solche Modelle per RL im NO-THINK-Modus und meldet danach bessere Reasoning-Leistung. Die Autoren bezweifeln diese Deutung. Ihrer Ansicht nach lässt sich der Gewinn großenteils durch „Thinking Leakage“ erklären.
Qwen3 stammt vom Qwen-Team bei Alibaba. Es handelt sich um ein einzelnes Modell mit umschaltbarem Denkmodus (/think und /no_think). Laut Qwen-Blog, datiert auf den 28. April 2025, erschien es Ende April 2025. Sechs dichte Modelle, darunter Qwen3-8B, 4B und 1.7B, stehen unter Apache 2.0. Ein Sekundärtext nennt den 29. April. Maßgeblich ist die Primärquelle.
Längere Antworten, verschobene Aktivierungen, ausgetauschter Unterraum
Die Autoren trainierten Qwen3-1.7B, 4B und 8B mit GRPO im NO-THINK-Modus. Mit steigender Genauigkeit wurden die Antworten länger und reflektierender. Das Originalmodell stufte sie zunehmend als seinem eigenen Denken ähnlich ein. Gleichzeitig verschoben sich die internen Aktivierungen in Richtung THINK-Modus.
Nach eigenen Angaben stützen die Autoren ihre These auf drei Ebenen: Gewichte, Aktivierungen und Attention-Heads. Ein stärkeres Skalieren des RL-Updates löst weiteres THINK-Verhalten aus. Die Genauigkeit nähert sich dabei dem THINK-Wert, übertrifft ihn aber nicht.
Bei Qwen3-8B ersetzten die Autoren einen niedrigdimensionalen, THINK-bezogenen Aktivierungs-Unterraum des RL-Modells durch den Wert des Originalmodells. Damit fiel der Großteil des RL-Gewinns weg. Der umgekehrte Austausch übertrug einen erheblichen Teil des Gewinns auf das Originalmodell. Daraus leiten die Autoren ab, dass der Effekt in diesem Unterraum liegt. Dort lässt er sich gezielt herausnehmen und einsetzen.
Selbstauskunft der Autoren, keine unabhängige Bestätigung
Die Kernthese stammt von den Autoren selbst. Der RL-Gewinn gehe weitgehend auf die teilweise Reaktivierung der THINK-Modus-Fähigkeiten zurück, nicht auf neu gelerntes Reasoning. Eine unabhängige Replikation oder Einordnung liegt bislang nicht vor. Wie groß der Anteil des Gewinns ist, der auf Thinking Leakage entfällt, lässt sich aus dem vorliegenden, abgeschnittenen Abstract nicht als Gesamtzahl ablesen.
Wer hybride Modelle per RL im NO-THINK-Modus feinjustiert und die Gewinne als neu gelerntes Reasoning deutet, sollte diese Interpretation prüfen. Laut Paper übersteigt der Gewinn die THINK-Genauigkeit nicht.
