KI SpotlightNewsSymbolische Gleichung ersetzt Repräsentationsprozess neuronaler Netze
Ein neues Forschungspapier (arXiv) zeigt, dass die Vektorrepräsentationen verschiedener neuronaler Netze, darunter großer Sprachmodelle, durch symbolische Strukturen approximiert werden können, ohne das Verhalten wesentlich zu ändern; dies deutet auf eine emergente symbolische Struktur in neuronalen
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- Das Paper 'The Emergent Symbolic Structure of Artificial Neural Networks' existiert auf arXiv und beschreibt die Hypothese, dass interne Repräsentationen neuronaler Netze symbolische Struktur realisieren.
- Die Autoren zeigen, dass Vektorrepräsentationen verschiedener Netze durch symbolische Strukturen approximiert werden können; das Ersetzen des Repräsentationsprozesses durch eine geschlossene Gleichung lässt das Verhalten weitgehend unverändert.
- Die Befunde gelten für kleine neuronale Netze, die Listen manipulieren, sowie für große Sprachmodelle in den Domänen Arithmetik, Logik, Computercode und Sprache.
- Die symbolische Approximation erlaubt gezielte Interventionen auf interne Repräsentationen, um das Verhalten eines LLM zu modifizieren.
- Eine separate, peer-reviewte Studie (ICML 2025) identifiziert eine emergente symbolische Architektur in LLMs mit Symbolabstraktions-, Induktions- und Retrieval-Heads.
- Es existiert ein Code-Repository für ein früheres Paper 'Emergent Symbols through Binding in External Memory' (ICLR 2021), das symbolisches Binden in neuronalen Netzen behandelt.
Geschlossene Gleichung ersetzt Repräsentationsprozess
Ein neues Paper auf arXiv mit dem Titel „The Emergent Symbolic Structure of Artificial Neural Networks“ stellt die Hypothese auf, dass die internen Repräsentationen neuronaler Netze implizit symbolische Strukturen realisieren. Die Autoren zeigen, dass sich die Vektorrepräsentationen verschiedener Netze eng durch symbolische Strukturen approximieren lassen. Konkret ersetzen sie den gesamten repräsentationserzeugenden Prozess eines Netzes durch eine geschlossene Gleichung, die eine symbolische Struktur instanziiert. Das Verhalten des Netzes bleibt dabei nach Angaben der Forscher weitgehend unverändert. Dies gilt sowohl für kleine neuronale Netze, die darauf trainiert wurden, Listen zu manipulieren, als auch für große Sprachmodelle.
Domänen: Arithmetik, Logik, Code, Sprache
Die Befunde erstrecken sich über vier Domänen, die in der symbolischen Tradition zentral sind: Arithmetik, Logik, Computercode und Sprache. Für kleine Netze und LLMs in diesen Bereichen konnten die Forscher die Repräsentationen symbolisch annähern. Darüber hinaus erlaubt die symbolische Approximation gezielte Eingriffe in die internen Repräsentationen eines LLM, um dessen Verhalten präzise zu modifizieren. Das deutet darauf hin, dass das Verhalten des Modells auf diesen symbolischen Strukturen beruht.
Separate ICML-Studie identifiziert Symbol-Architektur
Eine separate, bereits peer-reviewte Studie, die auf der International Conference on Machine Learning (ICML) 2025 veröffentlicht wurde, identifiziert eine emergente symbolische Architektur in großen Sprachmodellen. Die Autoren beschreiben darin drei Arten von spezialisierten Aufmerksamkeitsköpfen: Symbolabstraktions-Heads, Induktions-Heads und Retrieval-Heads. Diese Ergebnisse deuten darauf hin, dass emergentes logisches Schließen in neuronalen Netzen auf der Entstehung solcher symbolischer Mechanismen beruht.
