T2Quant verteilt die Aktivierungspräzision in Diffusions-Sprachmodellen über die Denoising-Schritte

T2Quant verteilt Aktivierungspräzision über die Denoising-Schritte

Forschende stellen T2Quant vor, ein aufgaben- und zeitbewusstes Mixed-Precision-Quantisierungsframework für Diffusions-Sprachmodelle (DLMs). Nach Angaben der Autoren verteilt es die Aktivierungspräzision unter einem festen Bit-Budget über die Denoising-Schritte. Die Entscheidung fällt also je Schritt: Wo mehr Bits gebraucht werden, bekommt der Schritt sie. Wo weniger reicht, spart er sie. Grundlage ist ein label-freies Sensitivitätssignal.

Die Autoren berichten, dass die Quantisierungsempfindlichkeit sowohl von der Aufgabe als auch vom Denoising-Schritt abhängt. Verschiedene Downstream-Aufgaben verlangen über die Schritte hinweg unterschiedliche Präzision. Diese Muster lassen sich laut Autoren ohne Ground-Truth-Labels oder aufgabenspezifische Metriken vorhersagen. Genau darauf stützt sich die dynamische Bit-Allokation. Für die Zuteilung wäre keine Auswertung auf beschrifteten Daten nötig.

Motiviert wird die Arbeit mit dem iterativen Denoising-Prozess. Er verlangt wiederholte Modellauswertungen, weshalb effiziente Inferenz für DLMs an Bedeutung gewinnt. Quantisierung gilt als verbreitete Technik, um Speicher- und Rechenaufwand zu senken.

Bis zu 6,7 Prozentpunkte mehr Genauigkeit laut Autoren, getestet an drei Modellen und sechs Benchmarks

Die Experimente umfassen laut Abstract drei DLMs und sechs Benchmarks. Demnach verbessert T2Quant die durchschnittliche Genauigkeit bestehender Quantisierungsmethoden konsistent, und zwar um bis zu 6,7 Prozentpunkte bei gleichem Budget.

Das ist eine Angabe der Autoren. Eine unabhängige Bestätigung liegt nicht vor. Die Redaktion hat nur die Abstracts ausgewertet, nicht den Volltext. Offen bleibt, welche Basismethoden, Bit-Breiten und Modelle verglichen wurden und wie hoch die Gewinne je Benchmark ausfallen. Der Wert von 6,7 Prozentpunkten markiert das Maximum, nicht den typischen Zugewinn.

Frühere PTQ-Studie fokussierte Aktivierungs-Ausreißer, nicht den Zeitschritt

Eine frühere Arbeit nennt sich die erste systematische Studie zur Post-Training-Quantisierung (PTQ) für Diffusions-LLMs. Sie sieht Aktivierungs-Ausreißer als zentrale Hürde für Low-Bit-Quantisierung. Extreme Werte dominieren den Dynamikbereich, und die übrigen Werte lassen sich nur schwer präzise halten. Ausgewertet wurde nach Bit-Breite, Methode, Aufgabenkategorie und Modelltyp.

T2Quant ergänzt diese Perspektive um die zeitliche Dimension der Denoising-Schritte. Der Vergleich stützt sich allein auf die Abstracts beider Arbeiten. Eine unabhängige Bestätigung der berichteten Ergebnisse fehlt. Der Volltext von T2Quant wurde nicht geprüft.