KI SpotlightNewsKI-Forscherteam soll Linear-Attention-Architektur GDN2 übertreffen
Autoren berichten von einem Team persistenter KI-Forscher aus verschiedenen Disziplinen – unabhängig geprüft ist das nicht
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- Das Paper baut ein Team persistenter KI-Forscher, jeweils in einer anderen Disziplin verankert.
- Die Autoren berichten, das Team habe GDN2 im 1,3B-Maßstab übertroffen; Zahlen fehlen im Auszug.
- Teure Experimente erlauben nur wenige Ideen, daher müssen Exploration und Exploitation abgewogen werden.
- Gated DeltaNet nutzt Mamba-artiges Gating; Kimi Linear ersetzt das skalare Gate durch kanalweises Gating.
- Ein Vergleichspaper findet bei 350M Parametern und 15B Tokens für KDA mit Muon den niedrigsten Validierungsverlust.
KI-Forscherteam soll GDN2 im 1,3B-Maßstab übertreffen
Ein Team persistenter KI-Forscher soll bei der Suche nach Linear-Attention-Architekturen besser abgeschnitten haben als GDN2. So berichten es die Autoren des Papers „Building AI Research Teams for Autonomous Discovery of Linear Attention Architectures“, das auf Hugging Face Papers vorliegt.
Laut den Autoren ist jeder Forscher des Teams in einer anderen Disziplin verankert. Jeder führt eine private Forschungshistorie, die Experimentevidenz teilen sie untereinander. Das Team sollte Linear-Attention-Architekturen finden. Dabei habe es GDN2 im 1,3B-Maßstab übertroffen, bei Sprachmodellierung, Common-Sense-Reasoning sowie bei synthetischen und realen Retrieval-Aufgaben.
Die Ergebnisse sind Eigenangaben der Autoren. Der vorliegende Auszug nennt dazu keine Zahlen.
Adaptive Zuteilung entscheidet, welche Forscher Experimente ausführen
Das Paper stellt eine Teamarchitektur vor, die zwei Probleme adressiert. Ausgangspunkt ist ein praktisches Problem: Experimente kosten viel, ein Team kann also nur wenige Ideen prüfen. Bei der Auswahl der Forscher müsse man deshalb abwägen zwischen Exploration, also dem Erkunden neuer Ansätze, und Exploitation, dem Ausbauen vielversprechender.
Die Autoren lösen das über eine adaptive Zuteilung. Bei begrenztem Experimentbudget bestimmt sie, welche Forscher neue Experimente vorschlagen und ausführen. Jedes Ergebnis prägt, was das Team als Nächstes versucht.
Unterschiedliche Fachexpertise soll außerdem verhindern, dass die Suche in lokalen Minima hängen bleibt. Verschiedene Hintergründe führten zu orthogonaler Exploration. Dass diese Teamgestaltung tatsächlich wirkt, behaupten die Autoren. Belegt ist es im vorliegenden Material nicht.
Ohne Zahlen und Ablationen bleibt der Vorsprung offen
Ob die Ergebnisse tatsächlich über GDN2 hinausgehen, lässt sich derzeit nicht beurteilen. Der Abstract ist abgeschnitten, Zahlen fehlen. Kontrollierte Vergleiche, bei denen einzelne Komponenten entfernt werden, deutet der Text nur an. Der entsprechende Satz bricht ab, das Ergebnis ist nicht lesbar. Eine unabhängige Prüfung gibt es nicht.
Auch ein praktischer Nutzen für die Inferenzkosten ist nicht belegt. Ein Vergleichspaper zu DeltaNet, Gated DeltaNet, Kimi Delta Attention und Gated DeltaNet-2 (350M Parameter, 15B Tokens) enthält ausdrücklich keinen empirischen Inferenzgeschwindigkeits-Benchmark.
