xHC soll Hyper-Connections über N=4 hinaus skalierbar machen

xHC durchbricht die N=4-Grenze von Hyper-Connections

Hyper-Connections (HC) erweitern den Residual-Stream von Transformern, indem sie ihn in N parallele Ströme aufteilen. Anders als die klassische Skalierung von Breite oder Tiefe eröffnet dies eine zusätzliche Dimension der Modellkapazität. Die stabilisierte Variante Manifold-Constrained HC (mHC) hat diese Idee für große Modelle nutzbar gemacht und erzielte erhebliche Leistungsgewinne beim Übergang von N=1 auf N=4. Diese Erfolge deuten darauf hin, dass die Erweiterung des Residual-Streams eine vielversprechende Skalierungsachse darstellt. Bisherige HC-Methoden endeten jedoch typischerweise bei N=4, da eine weitere Erhöhung der parallelen Ströme durch zwei architektonische Engpässe ausgebremst wurde. Mit xHC (Expanded Hyper-Connections) schlagen die Autoren nun eine Erweiterung vor, die Hyper-Connections erstmals über diese N=4-Grenze hinaus skalierbar machen soll [Herstellerangabe]. Die Forscher identifizierten die limitierenden Flaschenhälse und entwickelten xHC gezielt, um diese zu überwinden [Herstellerangabe]. xHC zielt darauf ab, die Residual-Stream-Erweiterung als praktikable neue Skalierungsdimension für höhere N-Werte zu erschließen und so die Leistungsfähigkeit von Transformern weiter zu steigern. Die Autoren sehen in xHC den Schlüssel, um diese neue Achse für deutlich größere N zu nutzen. Damit könnte die Grenze von N=4 erstmals überwunden werden.

Zwei Engpässe bremsten bisherige Methoden aus

Die Autoren führten Experimente mit mHC durch und stellten fest, dass eine Skalierung über N=4 hinaus zu abnehmenden Leistungssteigerungen und stark steigenden Trainingskosten führt [Herstellerangabe]. Diese beiden Faktoren identifizierten sie als die zentralen Engpässe, die bisherige Hyper-Connection-Ansätze auf N=4 beschränkten [Herstellerangabe]. Die Forscher betonen, dass diese Flaschenhälse die praktische Nutzbarkeit der Residual-Stream-Erweiterung bislang stark einschränkten. Die abnehmenden Leistungssteigerungen bedeuteten, dass jeder zusätzliche parallele Strom einen immer geringeren Beitrag zur Verbesserung der Modellqualität leistete. Gleichzeitig stiegen die Trainingskosten überproportional an, was die Effizienz weiterer Skalierung untergrub. Während der Sprung von N=1 auf N=4 noch erhebliche Gewinne brachte, flachte der Zuwachs bei höheren N-Werten deutlich ab. Die gegenläufigen Trends – sinkender Nutzen bei steigenden Kosten – machten eine Erhöhung der Stromzahl über N=4 hinaus unattraktiv. Die Autoren führen diese Limitierung auf zwei architektonische Flaschenhälse in der ursprünglichen mHC-Architektur zurück [Herstellerangabe]. In der Praxis stellte N=4 daher eine faktische Grenze dar, jenseits derer die Nachteile die Vorteile überwogen. Die Identifikation dieser Engpässe bildete die Grundlage für die Entwicklung von xHC, das genau diese Beschränkungen überwinden soll.

Residual-Stream-Erweiterung als vielversprechende Skalierungsachse

Die großen Leistungsgewinne von N=1 auf N=4 werten die Autoren als starkes Indiz dafür, dass die Erweiterung des Residual-Streams eine vielversprechende neue Skalierungsachse darstellt [Herstellerangabe]. Anders als die traditionelle Vergrößerung von Breite oder Tiefe setzt dieser Ansatz an der internen Informationsverarbeitung an: Durch die Aufteilung in N parallele Ströme entstehen zusätzliche Speicherpfade, die die Modellkapazität in einer neuen Dimension erhöhen. Diese parallele Verarbeitung ermöglicht es dem Transformer, mehrere Informationsströme gleichzeitig zu pflegen und zu kombinieren, was die Ausdruckskraft steigert. Die beobachteten Sprünge belegen, dass diese Form der Speicherskalierung grundsätzlich eine praktikable Achse jenseits von Breite und Tiefe sein kann. Bislang verhinderten die identifizierten Engpässe jedoch eine effiziente Nutzung über N=4 hinaus. xHC zielt darauf ab, diese Beschränkung aufzuheben und die Skalierungsachse für höhere N-Werte zu erschließen [Herstellerangabe].