Cammarata widerspricht der Superposition-Erklärung: Neuronen seien „already clean“

Cammarata widerspricht der Superposition, die er mitgeprägt hat

Nick Cammarata hat einen langen Essay mit dem Titel „Neural Networks Are Already Clean“ veröffentlicht. Seine These: Die Innenleben großer KI-Modelle lassen sich deutlich leichter verstehen, als bisher angenommen. Neuronen seien weit weniger verknotet, als die gängige Erklärung unterstellt. Sie ließen sich direkt untersuchen, ohne sie vorher mit einem zweiten Modell wie einem Sparse Autoencoder zu entwirren. Laut The Decoder arbeitet Cammarata inzwischen beim Interpretability-Labor Goodfire.

Der Widerspruch wiegt schwer, weil Cammarata die Gegenposition nach Angaben von The Decoder selbst mitgeprägt hat. Ein frühes, viel zitiertes Beispiel für Polysemantizität war ein Neuron im Bildmodell InceptionV1. Es reagiert auf Katzengesichter und Autofronten. Cammarata nutzte dieses Neuron in seiner eigenen frühen Forschung. Die Superpositions-Erklärung führt solche Mischreaktionen darauf zurück, dass ein Netz unzusammenhängende Konzepte in dieselben Neuronen packt, wenn ihm die Neuronen ausgehen.

Der Essay selbst lag der Redaktion nicht vor. Die Angaben stammen ausschließlich aus Sekundärberichten von The Decoder, 36kr und hyper.ai, die teils voneinander abweichen. Einmal nennen sie Cammarata unabhängigen Forscher, einmal Goodfire-Forscher, einmal Gründer des Interpretability-Teams von OpenAI. Auch beim Veröffentlichungstag gibt es Abweichungen: Ein Bericht nennt Donnerstag, ein anderer Freitag.

Anthropics Features gegenüber Cammaratas direkten Neuronen

Der bisherige Stand beruht maßgeblich auf Arbeiten von Anthropic. In „Toy Models of Superposition“ und „Towards Monosemanticity“ zeigte das Unternehmen, dass einzelne Neuronen oft in vielen unzusammenhängenden Kontexten aktiv sind. Als bessere Analyseeinheiten schlug es „Features“ vor. Das sind Linearkombinationen von Neuronenaktivierungen, die sich per Dictionary Learning beziehungsweise mit Sparse Autoencodern finden lassen.

Schon vorher war allerdings bekannt, dass manche Neuronen sauber interpretierbar sind, viele aber gemischte Selektivität zeigen. Auch Anthropic hielt fest, dass einige Neuronen klar auf Merkmale abbilden, in Sprachmodellen aber selten. Ob Neuronen oder Richtungen im Aktivierungsraum die besseren Einheiten sind, war in Vorarbeiten bereits Gegenstand der Untersuchung.

90 Prozent der Qwen-32B-Neuronen: Eine bislang ungeprüfte Behauptung

Die stärksten Aussagen stammen aus der Wiedergabe durch 36kr. Demnach hätten 90 Prozent der Neuronen in Qwen-32B nur eine einzige Aufgabe. Modelle mit Billionen Parametern seien mit modernen Agent-Werkzeugen „nahezu interpretierbar“, und das Problem werde „möglicherweise sehr bald“ gelöst. Dabei handelt es sich um unbestätigte Eigenbehauptungen des Autors. Weder Dritte noch die Redaktion konnten sie am Original belegen.

Den Sicherheitsnutzen betont hyper.ai. Der Bericht eröffne Forschern einen neuen Weg, leistungsfähige Modelle zu verstehen und zu steuern. Das ist die Deutung des Mediums, kein gezeigter Nachweis. Übersichtsarbeiten sehen Interpretierbarkeit zwar als relevant für Sicherheit und Auditierbarkeit, nennen Skalierbarkeit aber als offene Herausforderung. Das beschreibt den allgemeinen Forschungsstand und ist kein Beleg für Cammaratas Ergebnisse.

Prüfbar wäre die Behauptung am Original-Essay. Entscheidend sind dort die Metrik für die „Aufgabe“ eines Neurons und die Auswahl der Neuronen. Nötig wäre außerdem eine unabhängige Replikation an Qwen-32B. Der Essay müsste zudem konkrete Experimente zeigen, etwa zu Täuschungserkennung, Monitoring oder Steuerung.

Auf Reddit (r/LocalLLaMA) wird der Essay als Hinweis gelesen, dass Interpretierbarkeit erreichbarer sein könnte als gedacht. Das ist eine Stimmungsäußerung und keine Prüfung.