Datenwand ist real: 300 Billionen Token bis 2032, synthetische Daten als umstrittener Ausweg

Datenwand ist keine Prognose mehr: 300 Billionen Token bis 2032

Die Datenwand ist keine Prognose mehr. Epoch AI schätzt den effektiven Bestand an qualitäts- und wiederholungsbereinigtem menschlichem Text auf rund 300 Billionen Token. Die Forscher von Epoch AI – Pablo Villalobos, Anson Ho, Jaime Sevilla, Tamay Besiroglu, Lennart Heim und Marius Hobbhahn – haben dafür öffentlich verfügbare Textquellen wie Webseiten, Bücher und wissenschaftliche Artikel analysiert und um Qualitäts- und Wiederholungsfaktoren bereinigt. Ihre Analyse wurde 2022 erstmals veröffentlicht und am 6. Juni 2024 substanziell aktualisiert. Nach dieser Analyse werden Modelle diesen Bestand zwischen 2026 und 2032 vollständig nutzen; bei intensivem Overtraining verschiebt sich der Zeitpunkt auf 2025 bis 2028. Intensives Overtraining bedeutet, dass Modelle mit deutlich mehr Trainings-Tokens pro Parameter trainiert werden, als es die üblichen Skalierungsgesetze vorsehen. Dadurch konsumieren sie den vorhandenen Textbestand schneller, weil jedes Modell mehr Daten pro Durchlauf benötigt – der Vorrat wird also früher aufgebraucht. Damit ist die Grenze datiert: Hochwertiger, öffentlich verfügbarer Text wird für das Training von Frontier-Modellen weitgehend erschöpft sein. Die Schätzung macht aus einer vagen Sorge eine konkrete zeitliche Barriere.

Synthetische Daten: Skalierungsgesetze bestätigt, aber Mischung entscheidet

Herstellerangabe: Microsoft Research Asia gibt an, mit SynthLLM ein System zur skalierbaren Generierung synthetischer Daten entwickelt zu haben; nach eigenen Angaben bestätigen Tests, dass die für natürliche Daten geltenden Skalierungsgesetze auch für synthetische Daten gelten. Das legt nahe, dass synthetische Daten eine größere Rolle im Training übernehmen können. Eine arxiv-Studie mit über 1000 LLMs liefert jedoch ein differenzierteres Bild: Reines Vortraining auf umformulierten synthetischen Daten ist nicht schneller als auf natürlichen Webtexten. Eine Mischung aus einem Drittel umformulierten synthetischen und zwei Dritteln natürlichen Daten kann bei größeren Datenbudgets den Weg zum gleichen Validierungsverlust um das Fünf- bis Zehnfache beschleunigen. Die Studie legt nahe, dass die Mischung die Vorteile beider Datentypen kombiniert: natürliche Webtexte liefern die Verankerung in realen Verteilungen, während umformulierte synthetische Daten zusätzliche Variationen derselben Konzepte bieten, sodass das Modell schneller generalisiert und den gleichen Validierungsverlust mit weniger Trainingsschritten erreicht. Lehrbuchstil allein führt zu höherem Verlust. Das optimale Verhältnis konvergiert empirisch bei etwa 30 Prozent synthetischer Daten. Größere Generatormodelle sind nicht unbedingt besser als Modelle mit 8 Milliarden Parametern. Die Studie verglich Generatormodelle unterschiedlicher Größe und stellte fest, dass Modelle mit 8 Milliarden Parametern bereits ausreichend vielfältige und qualitativ hochwertige synthetische Texte erzeugen; größere Modelle bringen keinen zusätzlichen Nutzen, weil die entscheidenden Eigenschaften wie konzeptuelle Abdeckung und sprachliche Variation bereits ab dieser Größe erreicht sind.

Model Collapse und widersprüchliche Zahlen

Die Wirksamkeit synthetischer Daten bleibt umstritten. dev.to warnt, dass wiederholtes Training auf synthetischen Daten ohne ausreichende Verankerung in realen Verteilungen zu Model Collapse führt. Ohne Verankerung lernen Modelle aus synthetischen Daten, die bereits Fehler oder Verzerrungen früherer Modelle enthalten. Bei wiederholtem Training verstärken sich diese Abweichungen: Seltene Muster verschwinden, die Ausgabe wird zunehmend homogen und driftet von der ursprünglichen Datenverteilung ab – ein Prozess, der als Model Collapse bezeichnet wird. Die arxiv-Studie findet dagegen bei großskaligem einrundigem Training auf umformulierten synthetischen Daten keine Leistungsverschlechterung in absehbaren Skalen. Das liegt daran, dass die Studie nur ein einziges Trainings-Rundlauf (n=1) betrachtet. Model Collapse tritt typischerweise erst bei mehrfacher, iterativer Wiederverwendung synthetischer Daten auf, wenn Modelle auf den Ausgaben früherer Modelle trainiert werden. Ein einzelner Durchlauf auf umformulierten synthetischen Daten, die noch eng an den ursprünglichen Webtexten orientiert sind, führt daher nicht zu einer messbaren Verschlechterung. Zudem widersprechen sich Gartner-Prognosen: 2022 hieß es, 60 Prozent der KI-Entwicklungsdaten würden bis 2024 synthetisch sein; andere Quellen nennen 75 Prozent bis Ende 2026. Aktuell werden 30 bis 60 Prozent der Trainings-Tokens in Frontier-Modellläufen als synthetisch geschätzt. Die Diskrepanz erklärt sich durch unterschiedliche Definitionen und Zeiträume: Gartners 60-Prozent-Prognose von 2022 bezog sich auf alle KI-Entwicklungsdaten bis 2024, während die 75-Prozent-Zahl für Ende 2026 einen breiteren Datenbegriff und einen späteren Zeitpunkt verwendet. Die aktuelle Schätzung von 30–60 Prozent bezieht sich dagegen ausschließlich auf Trainings-Tokens in Frontier-Modellläufen, also eine engere Kategorie. Zudem basieren Gartners Zahlen auf Marktprognosen, die aktuellen Werte auf empirischen Beobachtungen einzelner Trainingsläufe.