KI SpotlightNewsMIT-Team: Zufällig verbundenes Netz baut laut Paper seine Lernmaschinerie selbst
Forschende des McGovern Institute schlagen Selbstorganisation ohne Entwicklereingriff als Maß für biologische Plausibilität vor. Die Angaben stammen aus der MIT-Pressemitteilung, das PNAS-Paper war nicht zugänglich.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- Das PNAS-Paper erschien am 9. Oktober; Autoren kommen vom MIT McGovern Institute und ICoN Center.
- Qianli Liao, Postdoc am K. Lisa Yang ICoN Center, ist Co-Erstautor des PNAS-Papers.
- Die Autoren halten Selbstorganisation ohne Entwickler für entscheidend für die biologische Plausibilität eines Lernansatzes.
- Zufällig verbundene Einheiten können sich laut MIT mit einfachen Regeln zu einem Informationsverarbeitungsnetz formen.
- Liao sagt, aktuelle KI funktioniere sehr gut, nutze aber nicht unbedingt den Lernalgorithmus des Gehirns.
MIT-Team: Zufällig verbundenes Netz baut laut Paper seine Lernmaschinerie selbst
Am 9. Oktober hat ein Team des MIT McGovern Institute for Brain Research und des K. Lisa Yang Integrative Computational Neuroscience (ICoN) Center im Journal PNAS ein Paper veröffentlicht. Die Autoren halten es für ein entscheidendes Maß für die biologische Plausibilität eines Lernansatzes, wenn ein künstliches neuronales Netz sich ohne Eingriff eines Entwicklers selbst organisiert. Co-Erstautor ist Qianli Liao, Postdoctoral Fellow am ICoN Center in den Labs von Tomaso Poggio und Mark Harnett.
Laut MIT zeigen die Autoren außerdem, dass ein Netz seine eigene Lernmaschinerie aufbauen kann. Dafür genügen einfache Anweisungen, wie und wann sich Verbindungen ändern sollen. Eine Gruppe zufällig verbundener Einheiten formt sich so zu einem funktionierenden Informationsverarbeitungsnetz um und lernt aus Trainingsdaten.
Dass die Autoren die Selbstorganisation als „entscheidend“ einstufen, ist eine Selbsteinschätzung der Autoren beziehungsweise des Instituts. Auch die Formulierung, Netze „bauten ihre eigene Lernmaschinerie“, stammt aus der Pressemitteilung. Unabhängig bestätigt ist sie nicht.
Warum Liao Entwickler-Design für wenig aufschlussreich hält
Liao und Kollegen warnen: Netze, die per Entwickler-Design trainiert werden, liefern womöglich wenig Einblick in biologisches Lernen. Das Problem liegt im Vergleichsmaßstab. Das Gehirn hat keinen externen Konstrukteur. Ein von außen vorgegebener Lernmechanismus bildet es daher womöglich nur unzureichend ab. Liao sagt, die aktuelle KI-Technologie funktioniere sehr gut, nutze aber nicht unbedingt einen Lernalgorithmus, den auch das Gehirn verwendet.
Die Kritik an der biologischen Plausibilität des gängigen Verfahrens Backpropagation ist nicht neu. Sie gehört zu einem etablierten Forschungsfeld. Vergleichsstudien und Übersichtsarbeiten bemängeln unter anderem die nötige Gewichtssymmetrie, die globale Fehlerberechnung und das zweiphasige Training. Als Alternativen untersucht werden unter anderem Hebbian Learning, Predictive Coding, Target Propagation und der Forward-Forward-Algorithmus.
Was ohne Volltext offen bleibt
Die Originalpublikation war nicht zugänglich. Die PNAS-Seiten ließen sich nur nach einer Bot-Prüfung öffnen. Methodik, verglichene Modelle, Datenbasis und konkrete Ergebnisse sind damit nicht verifiziert. Was gegenüber früheren Arbeiten tatsächlich neu ist, lässt sich nur aus der Pressemitteilung ableiten, nicht aus dem Paper.
Prüfbar wären die Aussagen am Volltext und an der Einordnung unabhängiger Neurowissenschaftler außerhalb der Gruppe. Zum Forschungsstand gehört etwa eine arXiv-Arbeit zu Hebbian CNNs. Sie erreichte auf CIFAR-10 76 Prozent Genauigkeit, die Backpropagation-Variante 77 Prozent. Dieses Ergebnis stammt nicht aus der MIT-Arbeit.
