KI SpotlightNewsStudent lernt MNIST aus reinem Rauschen: Nachimplementierung erreicht 89,3 Prozent
Ein Bericht schildert, wie ein Student-Netz mit denselben Startgewichten wie der Lehrer Ziffern erkennt, obwohl er nur Gauß-Rauschen sieht. Zur Frage, ob dafür die gleiche Initialisierung nötig ist, widersprechen sich die Quellen.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- Cloud et al. beschreiben Subliminal Learning: Student übernimmt Lehrer-Merkmale über semantisch unabhängige Zahlenfolgen.
- Nach Training auf Zahlenfolgen nannte der Student in über 60 % der Fälle die Lieblingstiere des Lehrers.
- Im MNIST-Experiment wird der Student nur über einen Hilfskopf auf Rauschen trainiert.
- Learning Through Noise zeigt Subliminal Learning auch bei neu initialisierten versteckten Schichten.
- Die Methode „liminal training“ verringert die Gradientenausrichtung, stoppt den Merkmalserwerb aber nicht.
Student erreicht 89,3 Prozent auf MNIST, obwohl er nur Rauschen sieht
Ein Student-Netz wird ausschließlich mit Gauß-Rauschen trainiert und erkennt danach handgeschriebene Ziffern. So schildert es ein Bericht von hyper.ai. Voraussetzung ist, dass Student und Lehrer mit denselben Zufallsgewichten starten. Der Lehrer wurde zuvor auf MNIST trainiert. Der Student ahmt danach nur einige Hilfsausgaben des Lehrers nach. Bilder oder Labels sieht er nie.
Der Aufbau teilt die Ausgaben in zwei Teile auf. Ein Hilfskopf liefert Rauschsignale, ein Klassenkopf übernimmt die Ziffernklassifikation. Trainiert wird der Student allein über den Hilfskopf.
Laut Bericht erreichte eine unabhängige NumPy-Implementierung über fünf Seeds im Mittel 89,3 Prozent Genauigkeit auf echten Testziffern. Der Lehrer kam auf 97,8 Prozent, ein untrainierter Student auf 9,1 Prozent. Nach einem Zehntel des Trainings lag der Student im Durchschnitt bei 43,4 Prozent. Alle Zahlen stammen aus dem Bericht. Für die Originalarbeit nennt er einen Wert von über 50 Prozent. Diese Angabe ist nicht an der Primärquelle geprüft.
Das Setup ist nicht neu: Cloud et al. zeigten es bereits an einem MLP
Das Experiment selbst ist keine Neuheit. Die Arbeit von Cloud et al. zum Subliminal Learning ist inzwischen in Nature erschienen. Sie enthält einen theoretischen Beweis, dass der Effekt in neuronalen Netzen unter bestimmten Bedingungen auftritt. Gezeigt wird er außerdem an einem einfachen MLP-Klassifikator. Den Schwerpunkt bilden jedoch Sprachmodelle. Ein Student, trainiert mit Zahlenfolgen eines eulen-präferierenden GPT-4.1-Lehrers, nannte in über 60 Prozent der Fälle dessen Lieblingstier. Bei einem Student mit neutralem Lehrer waren es 12 Prozent.
Weitere Arbeiten greifen das Setup auf. Eine analysiert im MNIST-Szenario die Gradientenausrichtung, eine andere überträgt das Phänomen auf Quantenmodelle. Außerdem existiert ein öffentliches Code-Repository für Split-Head-Experimente auf MNIST und EMNIST. Neu am Bericht von hyper.ai ist damit vor allem die unabhängige Nachimplementierung mit konkreten Zahlen. Ob darüber hinaus neue Befunde vorliegen, lässt sich dem Material nicht entnehmen.
Gleiche Initialisierung nötig? Bericht und „Learning Through Noise“ widersprechen sich
Bei der Initialisierung gehen die Quellen auseinander. Der Bericht und Cloud et al. sehen den Effekt nur bei gleichem Ausgangsmodell. Im Bericht fiel der Student bei anderer Initialisierung auf Zufallsniveau.
Die Arbeit „Learning Through Noise“ widerspricht dem. Eine eng angeglichene Initialisierung sei nicht notwendig. Transfer gelinge auch dann, wenn versteckte Schichten zufällig neu initialisiert werden, und sogar beim Wechsel von MLP zu CNN. Entscheidend seien kompatible Ausgabeköpfe. Sind auch die Klassenköpfe kompatibel, könne der Student die Lehrerleistung annähernd erreichen, in günstigen Regimen sogar vollständig.
Eine mögliche Erklärung: Die Versuchsaufbauten unterscheiden sich. Im Szenario des Berichts würden bei anderem Seed beide Köpfe neu gezogen und wären damit inkompatibel. „Learning Through Noise“ hält die Köpfe dagegen gezielt kompatibel. Das ist eine Interpretation und im Material nicht ausdrücklich belegt.
Für Entwickler, die mit modellgenerierten Daten trainieren, ist das relevant. Cloud et al. warnen, dass Verhaltensmerkmale auch durch gefilterte, semantisch unabhängige Daten übertragen werden können. Datenfilterung allein schützt womöglich nicht.
