Quanta erzählt Attention als Geschichte eines 23-jährigen Praktikanten

Quanta erzählt Attention als Geschichte eines 23-jährigen Praktikanten

Das Quanta Magazine blickt auf die Entstehung des Attention-Mechanismus zurück. Im Mittelpunkt steht ein Praktikant: Dzmitry Bahdanau, 2014 ein 23-jähriger Belarusse, arbeitete in einem Labor der Université de Montréal. Er hatte zuvor im Wettbewerb programmiert, aber noch keine akademische Forschung betrieben. Seine Aufgabe lautete, einen Computer Sätze vom Englischen ins Französische übersetzen zu lassen, und zwar mit künstlichen neuronalen Netzen.

Betreut wurde er von Yoshua Bengio. Am Projekt beteiligt war der Postdoc Kyunghyun Cho. Laut Quanta glaubten beide an das Potenzial neuronaler Netze. Bahdanau bezweifelte zunächst, dass solche Netze je etwas wie menschenähnliche Intelligenz erreichen könnten. Übersetzung galt als schwieriges, aber lohnendes Problem. Sprachen lassen sich nicht Wort für Wort ersetzen: Grammatik, Redewendungen und Konnotationen unterscheiden sich, und feste Übersetzungsregeln gibt es nicht.

Quanta spitzt die These zu: Alles, was seit der Veröffentlichung von ChatGPT 2022 die Welt erfasst habe, beginne „in gewissem Sinne“ bei diesem Praktikanten. Das ist eine erzählerische Rahmung, keine belegte historische Aussage.

Vom Quanta-Text liegt nur der Einleitungsausschnitt vor. Autor, Veröffentlichungsdatum und Anlass des Rückblicks sind daher offen. Unklar bleibt auch, ob und wie der Text die Frage seines Titels beantwortet, ob Attention der Kern von Intelligenz sei.

Vom Transformer 2017 zum Druck durch den quadratischen Aufwand

Die Linie zum Transformer ist bekannt. Am 12. Juni 2017 erschien „Attention Is All You Need“ als arXiv-Preprint. Acht Google-Autoren stellen darin eine Architektur vor, die ausschließlich auf Attention beruht und auf Rekurrenz sowie Faltungen vollständig verzichtet. Den Angaben im Paper zufolge erreicht sie 28,4 BLEU auf WMT 2014 Englisch-Deutsch. Für Einzelmodelle ergibt sich auf Englisch-Französisch ein Bestwert von 41,8 BLEU, nach 3,5 Tagen Training auf acht GPUs.

Die Zuschreibung ist unscharf. Wikipedia schreibt, der Transformer beruhe auf dem 2014 von Bahdanau et al. vorgeschlagenen Mechanismus. Ein arXiv-Überblick mit dem Titel „The End of Transformers?“ führt die Self-Attention mit Queries, Keys und Values dagegen auf „Bahdanau et al., 2015“ zurück. Die Jahreszahlen 2014 und 2015 dürften eine Zitierkonvention sein, Preprint gegenüber Konferenzveröffentlichung. Schwerer wiegt die inhaltliche Frage: Bahdanaus Attention wirkt zwischen Encoder und Decoder und ist keine Self-Attention. Welche Lesart zutrifft, klärt das vorliegende Material nicht.

Der Überblick benennt auch den Engpass. Der Rechenaufwand der Attention wächst quadratisch mit der Kontextlänge. Deshalb untersucht er subquadratische Varianten, RNNs, State-Space-Modelle und Hybridarchitekturen. Er fragt, ob die Dominanz reiner Attention-Transformer enden könnte.

Eine Alternative ist Mamba. Gu und Dao stellten das State-Space-Modell im Dezember 2023 vor, und es kommt ohne diesen Engpass aus. Nach Angaben der Autoren übertrifft Mamba-3B Transformer gleicher Größe und erreicht die Leistung doppelt so großer. Ein Beitrag zu Mamba nennt bis zu fünffach höhere Geschwindigkeit und ähnliche Skalierungsgesetze bis zu einer Million Token. Das sind Herstellerangaben. Unabhängige Benchmarks liegen im vorliegenden Material nicht vor.

Laut Turing Post (Stand 11. September 2026) hat Mamba den Transformer nicht ersetzt. Seine Ideen tauchen aber zunehmend in Hybridsystemen auf. Außerdem gibt es inzwischen Mamba-2 und Mamba-3.