KI SpotlightNewsGoodfire-Forscher stellt Superposition als Ursache für Polysemantizität infrage
Nick Cammarata hält die Verknotung von Neuronen für ein Werkzeug- und Architekturproblem. Ein Begleitpapier fehlt bislang, unabhängige Replikation ebenso.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- Nick Cammarata (Goodfire) veröffentlichte den Essay „Neural Networks Are Already Clean“ am 15. Oktober 2026.
- In einer vorläufigen Prüfung hatten bei Qwen3-32B etwa 90 % der Antwortrichtungen eine dominante Funktion.
- Rund 7 % kodierten zwei eng verwandte Funktionen, 2 bis 4 % kein erkennbares Muster.
- Der deutbare Anteil in der letzten InceptionV1-Schicht lag zwischen etwa 5 % und 70 %.
- Bei ConvNeXt mit vergleichbarer Parameterzahl lag der deutbare Anteil bei etwa 99 %.
Cammarata hält Polysemantizität für behebbar statt für Superposition
Nick Cammarata, Forscher bei Goodfire, hat am 15. Oktober 2026 den Essay „Neural Networks Are Already Clean“ veröffentlicht. Die These: Die Polysemantizität früher Modellorganismen rühre nicht von Superposition her, sondern von „ordinary, mostly fixable issues“ bei Architektur und Analysewerkzeugen. Der Text trägt ausdrücklich die Kennzeichnung „working hypothesis“.
Die etablierte Sicht geht davon aus, dass Netze bei knappen Neuronen unverwandte Konzepte in einem Neuron bündeln, weil diese selten gemeinsam auftreten. Wer das Netz verstehen will, muss es zunächst entwirren, etwa mit Sparse Autoencodern. Berichten zufolge setzen unter anderem Anthropic und Google DeepMind breit auf diese Methode. Der Essay stand am Veröffentlichungstag mit 354 Punkten auf der Startseite von Hacker News.
90 Prozent der Neuronen-Antwortrichtungen in Qwen3-32B mit klar dominanter Funktion
Als zentrale Zahl nennt der Essay eine vorläufige Prüfung des Sprachmodells Qwen3-32B. Demnach besitzen etwa 90 Prozent der untersuchten Einheiten eine klar dominante Funktion. Rund 7 Prozent kodieren zwei eng verwandte Funktionen, 2 bis 4 Prozent zeigen kein erkennbares Muster.
Die Bezugsgröße ist entscheidend. Laut hyper.ai bezieht sich der Wert auf „neuron response directions“, also Antwortrichtungen von Neuronen. Byteiota spricht verkürzt von „neurons“. Ähnliche Tendenzen nennen die Berichte für Modelle mit Billionen Parametern wie Kimi K3. Dabei handelt es sich um die Darstellung des Autors, nicht um einen gesicherten Befund.
V-Form-Detektor und ConvNeXt: Die Belege aus der Bildverarbeitung
Zur Stützung analysiert Cammarata das bekannte Katze-Auto-Neuron (4e:55 in InceptionV1) neu. Nach dem Essay erkennt es eine spitze, nach außen gerichtete V-Form. Dieselbe Form taucht bei Fuchsgesichtern, Flammen und Wasserstrahlen auf. Nachgelagerte Neuronen bekommen demnach nie eine Katze-Auto-Kombination zu sehen.
Außerdem vergleicht der Essay Architekturen. In der letzten Schicht von InceptionV1 lag der Anteil deutbarer Neuronen bei etwa 5 Prozent mit frühen Werkzeugen, bei etwa 50 Prozent mit besseren Werkzeugen und bei etwa 70 Prozent mit moderner Regularisierung. Bei ConvNeXt waren es laut Essay etwa 99 Prozent, auch bei drei Modellen, deren Größe sich um das rund 300-Fache unterscheidet. Alle Zahlen stammen aus dem Essay und sind über Berichte vermittelt, etwa von techorange.
Begleitpapier und unabhängige Überprüfung fehlen noch
Ein technisches Begleitpapier steht noch aus. Unabhängige Replikationen liegen im vorliegenden Material nicht vor. Die Gesamtthese, dass sich die meisten Neuronen in Modellen „up to trillions of parameters“ verstehen lassen, ist bislang nicht prüfbar. Offene Modelle wie Qwen3-32B könnten Dritte nachuntersuchen.
Eine direkte Widerlegung der Superposition bei Sprachmodellen ist nicht belegt. Offen bleibt zudem, ob beide Seiten „deutbar“ und „dominante Funktion“ gleich definieren.
