Live Cambridge Dictionary kürt „human“ zum Wort des Jahres 2026
↘

Q Labs will Billiarden-Parameter-Modelle gegen die Sample-Effizienz-Lücke einsetzen

Das Papier von Baron et al. liegt nicht vor. Zusammenfassungen nennen datenbeschränkte Skalierungsgesetze, mehr Weight Decay und Ensembling. Die Billiarde ist extrapoliert, nicht trainiert.

· Veröffentlicht: 08.11.2026 ·2 Min Lesezeit
Q Labs will Billiarden-Parameter-Modelle gegen die Sample-Effizienz-Lücke einsetzenMit KI erstellt
Inhalt
◆ Fakten auf einen Blick
  • Ethan Baron und Kollegen von Q Labs Research schlagen Training mit Billiarden Parametern vor.
  • Das Paper behandelt das datenbeschränkte Regime, in dem Modelle über mehrere Epochen trainiert werden.
  • Ein Skalierungsgesetz legt Lernrate und Weight Decay abhängig von Modellgröße und Epochenzahl fest.
  • Ensembling gilt im Paper als eigene Skalierungsachse, etwa Snapshot-Ensembling.
  • Chinchilla-Skalierung entspricht etwa 1,5 Billionen Parametern bei 30 Billionen Tokens.

Q Labs setzt auf deutlich größere Modelle bei fester Datenmenge

Q Labs Research schlägt vor, die Lücke zwischen menschlichem und maschinellem Lernen mit deutlich größeren Modellen bei fester Datenmenge zu schließen. Das geht aus Zusammenfassungen eines Papiers von Ethan Baron und Kollegen aus dem Jahr 2026 hervor. Das Originalpaper liegt uns nicht vor. Die Darstellung stützt sich auf hyper.ai, listedarticles.com und lifeboat.com.

Das Papier behandelt das datenbeschränkte Regime. Rechenleistung wächst schneller als hochwertiger Text. Modelle durchlaufen die Daten deshalb mehrfach (Multi-Epoch-Training). Nach hyper.ai steigt die rechenoptimale Modellgröße weiter, wenn derselbe Datensatz wiederverwendet wird, statt bei einer festen Größe zu verharren.

Q Labs beschreibt sich als Forschungslabor, das Generalisierung statt Datenmenge mit Rechenleistung skalieren will. Laut einer LinkedIn-Vorstellung setzt es auf Suche über den Modellraum statt auf reinen Gradientenabstieg.

Skalierungsgesetz: Tokens, Modellgröße, Epochen und Ensemble-Mitglieder

Die Autoren fitten nach diesen Berichten ein Skalierungsgesetz. Es sagt den Verlust aus einzigartigen Tokens, Modellgröße, Epochenzahl und Zahl der Ensemble-Mitglieder voraus. Dazu gehören Regeln für Hyperparameter. Lernrate und vor allem Weight Decay sollen mit Modellgröße und Epochenzahl steigen. Größere Modelle auf wiederholten Daten brauchen demnach deutlich mehr Weight Decay.

Ensembling behandeln die Autoren als eigene Skalierungsachse. Hyper.ai nennt als Beispiel das Snapshot-Ensembling, bei dem Checkpoints eines einzelnen Laufs mit zyklischen Lernraten gemittelt werden.

Laut listedarticles.com bleibt das Hyperparameter-Gesetz bei 16-fachem Rechenaufwand gegenüber dem gefitteten Bereich nahe am Optimum. Mit Ensembling sinke der Verlust bei wachsendem Rechenaufwand weiter. Die Behauptung, frühere Regeln berücksichtigten Epochen nicht und könnten optimale Einstellungen verfehlen, steht nur bei hyper.ai. Eine Abgrenzung zu Chinchilla, muP oder Kaplan im Detail lässt sich aus dem Material nicht belegen.

Billiarden Parameter sind extrapoliert, nicht trainiert. Die Zahlen weichen voneinander ab

Als Maßstab dient der Vergleich mit dem Gehirn. Hyper.ai zufolge entspricht Chinchilla-Skalierung rund 1,5 Billionen Parametern bei 30 Billionen Tokens. Das Gehirn habe geschätzt 100 Billionen Synapsen bei etwa 200 Millionen Sprach-Tokens. Daraus ergebe sich eine Lücke von mehreren Größenordnungen bei Tokens pro Parameter.

Der Text auf lifeboat.com nennt dagegen 1 Billion Parameter bei 20 Billionen Tokens und spricht von sieben Größenordnungen. Beide Angaben folgen dem Chinchilla-Verhältnis von rund 20 Tokens pro Parameter, nutzen aber andere Beispielgrößen. Ohne das Originalpaper lässt sich die Abweichung nicht klären.

Die übrigen Aussagen stammen aus einem Repost mit unklarem Urheber und sind ungeprüft. Dazu zählt ein „Durchbruch“ mit „rigoroser Roadmap“. Außerdem heißt es, Menschen seien rund 1.000.000-mal sample-effizienter als LLMs. Eine weitere Rechnung setzt bei 10^29 FLOPs und 5 Billionen Tokens etwa 7.000-mal mehr Parameter pro Token als bei Chinchilla als nötig an. Die Billiarde ist extrapoliert. Belegt ist das Gesetz laut listedarticles.com nur bis zum 16-fachen des gefitteten Rechenaufwands.

Nicht zu verwechseln ist das Papier mit „q0: Primitives for Hyper-Epoch Pretraining“ von Q Labs und der Princeton University. Dieses Werk ist verwandt, aber ein anderes.

A
Andreas Rüdiger
Herausgeber & Redaktionsleitung · KI-Modelle, Technik & Business

Andreas Rüdiger ist Gründer der Agentur INREMA und verantwortet KI Spotlight redaktionell. Sein Schwerpunkt liegt auf KI-Modellen, Recheninfrastruktur, technischen Entwicklungen und der wirtschaftlichen Einordnung. Er sorgt dafür, dass komplexe KI-Themen verständlich und nachvollziehbar aufbereitet werden. Mehr zu ihm auf inrema.de und andiger.de.

Quellen

  1. hyper.ai ↗

Ähnliche Artikel