KI SpotlightNewsAleph Alpha veröffentlicht Open-Weight-Modell Kolibri
Neues Mixture-of-Experts-Modell mit 78 Mrd. Parametern für Deutsch und Englisch
Mit KI erstellt◆ Fakten auf einen Blick
- Das Modell heißt Kolibri und ist ein Mixture-of-Experts (MoE) Modell.
- Kolibri hat 78 Milliarden Gesamtparameter und etwa 3,46 Milliarden aktive Parameter pro Token.
- Die native Kontextlänge beträgt 262.144 Token, validiert bis 1.048.576 Token.
- Das Modell wurde auf Sequenzen von 16.384 Token vortrainiert, dann auf 65.536 und schließlich auf 262.144 Token trainiert.
- 21,3% der Pre-Training-Tokens sind Deutsch.
- Das Training umfasste fast 24 Billionen Token.
Aleph Alpha veröffentlicht Kolibri
Aleph Alpha hat am 3. Oktober das Open-Weight-Modell Kolibri veröffentlicht. Es ist ein Mixture-of-Experts-Modell mit 78 Milliarden Parametern, optimiert für Deutsch und Englisch. Das Modell unterstützt einen expliziten Reasoning-Modus, der mehrstufiges logisches Schließen ermöglicht, sowie Tool Calling, wobei externe Programme für Aufgaben wie Datenabruf aufgerufen werden können. Die Gewichte sind auf Hugging Face verfügbar.
Technische Eckdaten und Lizenz
Kolibri nutzt eine Mixture-of-Experts-Architektur: Von 78 Mrd. Gesamtparametern sind pro Token etwa 3,46 Mrd. aktiv. Die native Kontextlänge beträgt 262.144 Token, validiert bis 1.048.576 Token (rund eine Million). Damit kann das Modell sehr lange Dokumente verarbeiten; die Validierung zeigt, dass die Qualität auch bei extrem langen Eingaben erhalten bleibt. Lizenz: Apache-2.0, Gewichte auf Hugging Face.
