Aleph Alpha kündigt 4 Billionen deutsche Tokens für eigenes Vortraining an

Aleph Alpha kündigt 4 Billionen deutsche Tokens für eigenes Vortraining an

Aleph Alpha hat eine neue Datenpipeline vorgestellt, die für das Vortraining eigener Sprachmodelle 4 Billionen deutsche Tokens bereitstellen soll. Das zugehörige Dataset trägt den Namen Aleph-Alpha-GermanWeb und kombiniert Daten aus Common Crawl, offenen Datensätzen wie FineWeb2 sowie synthetisch generierten Texten, die auf echten organischen Webdaten basieren. Nach Angaben des Unternehmens liefern offene Datensätze lediglich 1,94 Billionen Tokens; mehr als 2 Billionen Tokens habe Aleph Alpha daher selbst kuratiert und generiert. Offene Datensätze erlaubten zudem keine kontinuierlich aktuellen Daten. Die Pipeline umfasst eine eigene Filterung von Common-Crawl-Daten für Deutsch. Die synthetischen Daten werden auf Basis echter organischer Webdaten erzeugt, um die Menge und Vielfalt zu erhöhen. Aleph Alpha veröffentlicht Code, Daten, Modellfilter und Prompts zur Reproduktion des Datasets.

Modellbasierte Filterung und synthetische Daten als Schlüssel

Die methodische Neuerung liegt in der Kombination aus heuristischer und modellbasierter Filterung sowie synthetischer Datengenerierung. Die heuristische Filterung verarbeitet Common-Crawl-Snapshots sequenziell: URL- und Inhaltsfilterung, Sprachidentifikation, Wiederholungs- und Qualitätsheuristiken sowie anschließend exakte und fuzzy Deduplikation. Für die modellbasierte Filterung trainierte Aleph Alpha Qualitätsklassifikatoren auf Basis von fastText und BERT. Als Trainingssignal diente ein LLM-as-a-judge, der 600.000 Dokumente aus German FineWeb2 nach inhaltlicher Qualität, sprachlicher Qualität und Orthografie bewertete; der Gesamtscore ist das Minimum der drei Kriterien. Die Klassifikatoren unterscheiden anschließend zwischen niedriger und hoher Bildungsqualität. Die synthetische Datengenerierung erzeugt vielfältige Dokumente wie Umformulierungen, indem fortgeschrittene LLM-Prompts auf echte organische Webdaten angewendet werden. Zur Evaluierung wurden ein 1B-Modell im Llama-Stil und ein 8B tokenizer-freier hierarchischer autoregressiver Transformer vortrainiert. Auf deutschen Benchmarks inklusive MMMLU zeigten sich signifikante Leistungsgewinne gegenüber FineWeb2 allein; der Vorteil blieb auch bei Anreicherung von FineWeb2 mit Wikipedia bestehen.

Von Luminous zu Pharia: Deutliche Skalierung der Trainingsdaten

Die neue Pipeline bedeutet eine deutliche Skalierung gegenüber früheren Aleph-Alpha-Modellen. Die Luminous-Modelle wurden nach Angaben des Unternehmens auf einem kuratierten multilingualen Korpus mit etwa 400 bis 588 Milliarden Tokens trainiert. Das Pharia-1-LLM-7B-Modell basiert auf kuratierten Daten, optimiert für Deutsch, Französisch und Spanisch. Mit Aleph-Alpha-GermanWeb strebt Aleph Alpha nun 4 Billionen deutsche Tokens an – mehr als das Doppelte der 1,94 Billionen Tokens, die offene Datensätze liefern. Da offene Datensätze keine kontinuierlich aktuellen Daten erlauben, setzt das Unternehmen auf eigene Kuratierung und synthetische Generierung.