Microsoft Research veröffentlicht BitNet b1.58 2B4T: Erstes 2B-LLM mit nativen 1-Bit-Gewichten

Microsoft Research veröffentlicht erstes 2B-LLM mit nativen 1-Bit-Gewichten

Microsoft Research hat mit BitNet b1.58 2B4T ein Open-Source-Sprachmodell mit zwei Milliarden Parametern veröffentlicht, dessen Gewichte ausschließlich ternär sind: Jeder Parameter kann nur den Wert -1, 0 oder 1 annehmen. Nach Angaben des Unternehmens ist es das erste native 1-Bit-LLM in dieser Größenordnung. Trainiert wurde das Modell auf einem Korpus von vier Billionen Token. Laut Microsoft Research erreicht es eine Leistung, die mit führenden Open-Weight-Full-Precision-Modellen ähnlicher Größe vergleichbar ist. Die Veröffentlichung umfasst die Gewichte sowie einen technischen Bericht, der im zugehörigen Repository verlinkt ist. Damit demonstriert das Projekt, dass native 1-Bit-LLMs bei deutlich reduziertem Ressourcenbedarf konkurrenzfähig sein können. Die Gewichte sind frei verfügbar und ermöglichen es Forschern und Entwicklern, das Modell lokal auszuführen und weiter zu untersuchen. Microsoft Research betont, dass der Ansatz erhebliche Vorteile bei Speicher, Energie und Latenz biete. Die vorliegenden Quellen enthalten jedoch keine unabhängigen Benchmarks zur Leistungsfähigkeit; die Angaben zur Vergleichbarkeit stammen ausschließlich vom Hersteller.

Ternäre Quantisierung: 1,58 Bit pro Gewicht und der Wegfall von Multiplikationen

Bei der ternären Quantisierung werden die Gewichte eines neuronalen Netzes auf drei mögliche Werte reduziert: -1, 0 und 1. Da es drei Zustände gibt, lassen sich diese mit 1,58 Bit pro Gewicht speichern – der Logarithmus zur Basis 2 von 3. Im Vergleich zu üblichen 16-Bit- oder 32-Bit-Gewichten ist das eine drastische Reduktion der Informationsmenge. Entscheidend für die Recheneffizienz ist, dass bei der Inferenz nahezu alle Multiplikationen entfallen: Ein Gewicht von -1 kehrt lediglich das Vorzeichen um, 0 setzt den Beitrag auf null, und 1 lässt ihn unverändert. Die Berechnung reduziert sich damit auf Additionen und Vorzeichenwechsel, was insbesondere auf Hardware ohne spezielle Multiplikationseinheiten – etwa CPUs oder Edge-Geräten – zu schnelleren und energieärmeren Abläufen führt. Microsofts BitNet-Ansatz nutzt diese Eigenschaft, um LLMs für ressourcenbeschränkte Umgebungen attraktiv zu machen. Anders als bei nachträglicher Quantisierung, bei der ein bereits trainiertes Modell in niedrigere Genauigkeit überführt wird, ist BitNet b1.58 2B4T nativ mit ternären Gewichten trainiert. Das bedeutet, dass das Training selbst auf diese diskrete Repräsentation ausgelegt ist und die Architektur entsprechend angepasst wurde. Die Speicherung mit 1,58 Bit pro Gewicht ist ein theoretischer Wert, der sich aus der Informationsentropie der drei Zustände ergibt; in der Praxis hängt der tatsächliche Speicherbedarf von der Implementierung ab.

Behauptete Vorteile: Speicherreduktion um Faktor 10 und Energieeinsparungen

Microsoft Research gibt an, dass BitNet b1.58 2B4T erhebliche Vorteile bei der Recheneffizienz bietet: Die Speichernutzung werde um eine Größenordnung – etwa Faktor zehn – reduziert, außerdem sänken Energieverbrauch und Latenz deutlich. Diese Angaben beziehen sich auf den direkten Vergleich mit Full-Precision-Modellen ähnlicher Größe. Konkrete Messungen mit der Implementierung bitnet.cpp untermauern zumindest die Energieeinsparungen: Auf ARM-Prozessoren wurden Reduktionen zwischen 55,4 und 70,0 Prozent gemessen, auf x86-Systemen sogar zwischen 71,9 und 82,2 Prozent. Diese Zahlen stammen aus Tests, die mit der nativen 1,58-Bit-Ausführung des Modells auf handelsüblichen CPUs durchgeführt wurden. Sie zeigen, dass die theoretischen Vorteile der ternären Quantisierung in der Praxis zu erheblichen Einsparungen führen können – vorausgesetzt, die Software nutzt die speziellen Rechenwege konsequent aus. Die Speicherreduktion um Faktor zehn ist eine Herstellerangabe und bezieht sich vermutlich auf die reine Gewichtsspeicherung im Vergleich zu 16-Bit-Modellen; sie berücksichtigt nicht zwangsläufig Overhead wie Aktivierungsfunktionen, Metadaten oder Laufzeitstrukturen. Die Energieeinsparungen aus bitnet.cpp sind dagegen konkrete Messwerte, die jedoch nur die Inferenzphase auf bestimmten Prozessoren abdecken und nicht das Training oder andere Komponenten.

Unabhängige Messungen und Anwendungsbeispiel VibeASR.cpp

Die mit bitnet.cpp erzielten Energieeinsparungen – 55,4 bis 70,0 Prozent auf ARM und 71,9 bis 82,2 Prozent auf x86 – gelten als unabhängige Belege für die reale Effizienz des BitNet-Ansatzes. Sie wurden nicht von Microsoft Research selbst, sondern im Rahmen der Open-Source-Community ermittelt. Ein konkretes Anwendungsbeispiel ist VibeASR.cpp, eine im Juli dieses Jahres veröffentlichte Echtzeit-ASR-Inferenz-Engine für CPUs. Sie nutzt die BitNet-I2_S-Quantisierung und erreicht einen Real-Time-Factor von 3,10, was bedeutet, dass die Spracherkennung mehr als dreimal schneller als Echtzeit arbeitet. Das Projekt zeigt, dass ternär quantisierte Modelle auch für anspruchsvolle Aufgaben wie multilinguale Spracherkennung auf gewöhnlicher Hardware ohne GPU einsetzbar sind. Solche Beispiele untermauern die Praxistauglichkeit, ersetzen aber keine systematischen Vergleichstests mit etablierten Modellen. Die Energieeinsparungen wurden auf ARM- und x86-Prozessoren gemessen, wobei die x86-Werte mit 71,9 bis 82,2 Prozent besonders hoch ausfallen. Diese Messungen beziehen sich auf die reine Inferenz mit bitnet.cpp und nicht auf das Training oder die Modellvorbereitung. VibeASR.cpp demonstriert, dass die ternäre Quantisierung nicht nur für Textgenerierung, sondern auch für Echtzeit-Spracherkennung geeignet ist, was die Vielseitigkeit des Ansatzes unterstreicht.

Widerspruch bei der Speicherreduktion und offene Fragen

Während Microsoft Research eine Speicherreduktion um etwa Faktor zehn angibt, widerspricht dem eine andere Quelle: Die Modellgröße werde durch die reduzierte Auflösung nicht direkt verringert; der Effekt werde erst bei Modellen mit mehr Parametern bedeutender. Dieser Widerspruch könnte auf unterschiedlichen Betrachtungsweisen beruhen – etwa der direkten Speicherung der Gewichte gegenüber der Gesamtmodellgröße inklusive Overhead wie Aktivierungsfunktionen oder Metadaten. In den vorliegenden Quellen finden sich keine unabhängigen Messungen zur tatsächlichen Gesamtmodellgröße von BitNet b1.58 2B4T im Vergleich zu Full-Precision-Modellen. Ebenso enthalten die Quellen keine externen Benchmarks zur Leistungsfähigkeit, wie sie typischerweise für LLMs herangezogen werden – etwa GLUE, MMLU oder vergleichbare Aufgabenkataloge. Solche Benchmarks wären notwendig, um die behauptete Leistungsgleichheit mit Full-Precision-Modellen ähnlicher Größe zu überprüfen. Da die Angaben zur Speicherreduktion und zur Leistung ausschließlich vom Hersteller stammen, bleibt offen, ob die Effizienzversprechen in der Praxis vollständig eintreten. Für Anwender, die auf eine konkrete Reduktion des Speicherbedarfs angewiesen sind, ist daher Vorsicht geboten, bis unabhängige Messungen vorliegen.