MTP-Beschleunigung für Qwen3.8-27B: Optimale Tiefe hängt von Hardware und Workload ab

Benchmark auf RTX 4090: Tiefe 5 verdoppelt Tokens pro Sekunde

Ein Benchmark auf einer RTX 4090 mit dem Modell Qwen3.8-27B-UD-Q4 zeigt, dass Multi-Token Prediction (MTP) die Tokenrate nahezu verdoppeln kann. Der Autor des Benchmarks berichtet für die Quantisierungsvariante Q4_K_M einen Anstieg von 48,5 auf 96,2 Tokens pro Sekunde bei MTP-Tiefe 5. Für Q4_K_XL steigt die Rate von 46,3 auf 84,2 Tokens pro Sekunde. Als nutzbaren Bereich gibt der Autor Tiefen von 2 bis 5 an, wobei Tiefe 5 in beiden Varianten die besten Werte liefert. Oberhalb von Tiefe 5 verlieren beide Builds an Leistung. Ab Tiefe 8 bei K_XL beziehungsweise Tiefe 11 bei K_M wird die Leistung nach Angaben des Autors aktiv zerstört – bis zu 5,3-mal langsamer als ohne MTP. Der Autor erklärt den Effekt mit der Speicherbandbreite: Ein Decode-Schritt bewegt bei 27 Milliarden Parametern und 4-Bit-Gewichten rund 17 Gigabyte über den Speicherbus, um ein einzelnes Token zu erzeugen. Speculative Decoding nutzt diesen Durchlauf, um mehrere Kandidaten gleichzeitig zu verifizieren. Werden mehr Token entworfen, als pro Verifikationsdurchlauf akzeptiert werden, entstehen reine Zusatzkosten. Die Messung umfasst alle getesteten MTP-Tiefen, nicht nur einzelne Stichproben.

Gegenprobe auf RTX 5090: Andere optimale Tiefe und Genauigkeitsverlust

Ein unabhängiger Test auf einer RTX 5090 kommt zu anderen Ergebnissen. Der Tester verwendete dasselbe Modell Qwen3.8-27B in der Quantisierung Q4_K_M und maß MTP-Tiefen von 1 bis 6 über einen Bestätigungsbenchmark mit 192 Aufgaben. Ohne MTP erreichte das Modell eine Genauigkeit von 84,38 Prozent bei einer medianen Latenz von 6,255 Sekunden. Bei Tiefe 4 stieg die Genauigkeit auf 85,42 Prozent, die mediane Latenz sank auf 3,891 Sekunden – das entspricht einer Beschleunigung um den Faktor 1,63. Tiefe 5 brachte 1,81-fache Geschwindigkeit bei 3,169 Sekunden, Tiefe 6 1,88-fache bei 3,113 Sekunden. Allerdings fiel die Genauigkeit bei Tiefe 5 und 6 auf 79,17 Prozent, ein Rückgang um 5,21 Prozentpunkte gegenüber dem nativen Modell. Die MTP-Akzeptanz sank mit zunehmender Tiefe: 59,19 Prozent bei Tiefe 4, 52,48 Prozent bei Tiefe 5 und 46,57 Prozent bei Tiefe 6. Der Tester bezeichnet Tiefe 4 als starken Kompromiss: deutlich schnellere Inferenz ohne beobachteten Genauigkeitsverlust. Tiefere Stufen liefern zusätzliche Geschwindigkeit, aber mit spürbarem Qualitätsverlust. Anders als der Benchmark auf der RTX 4090 sieht dieser Test die optimale Tiefe nicht bei 5, sondern bei 4 – und dokumentiert erstmals einen Genauigkeitsabfall bei höheren Tiefen.

Arbeitslastabhängigkeit: MTP-Akzeptanz schwankt zwischen 26 und 100 Prozent

Ein Bericht auf GitHub, der einen kontrollierten Qualitäts- und Leistungslauf mit llama.cpp dokumentiert, zeigt, dass die MTP-Akzeptanz stark von der Arbeitslast abhängt. Getestet wurden die Varianten UD-Q4_K_XL und UD-Q6_K_XL von Qwen3.8-27B auf einem NVIDIA-GB10-System. Die Akzeptanzrate – der Anteil der vom Modell übernommenen vorhergesagten Token – lag bei etwa 26 Prozent auf dem IFEval-Benchmark, bei 46 Prozent im Gesamtdurchschnitt, bei 97 Prozent bei strukturierten Tool-Calls und bei 100 Prozent in deterministischen Stabilitätstests. Auch die schnellste MTP-Tiefe variiert je nach Workload: In einem vorhersagbaren Aggregat gewann MTP16 knapp mit 0,24 Prozent Vorsprung vor MTP13, während in einer gemischten Mini-Suite aus IFEval, GSM8K, Tool-Calls und Chat MTP5 am schnellsten war. Der Bericht nennt als lokalen operativen Kompromiss MTP10, der in den Launchern für Q4 und Q6 verwendet wird. Diese Ergebnisse widersprechen der Annahme einer universell optimalen Tiefe: Je nachdem, ob eine Aufgabe stark vorhersagbar ist oder gemischte Anforderungen stellt, verschiebt sich das Optimum. Die Akzeptanzwerte erklären zugleich, warum pauschale Empfehlungen wie „Tiefe 5“ oder „Tiefe 4“ nicht auf alle Szenarien übertragbar sind.

Widersprüchliche Empfehlungen: Warum es keine universelle optimale Tiefe gibt

Die drei Quellen widersprechen sich in zentralen Punkten. Der Benchmark auf der RTX 4090 nennt Tiefe 5 als optimal und berichtet einen etwa zweifachen Geschwindigkeitsgewinn, ohne einen Qualitätsverlust zu erwähnen. Der Test auf der RTX 5090 sieht Tiefe 4 als optimal ohne Genauigkeitsverlust, misst bei Tiefe 5 und 6 zwar höhere Geschwindigkeit, aber einen Abfall der Genauigkeit um 5,21 Prozentpunkte. Der GitHub-Bericht wiederum zeigt, dass die optimale Tiefe von der Arbeitslast abhängt und keine einzelne Tiefe durchgängig gewinnt. Mögliche Ursachen für diese Abweichungen liegen in der Hardware, der Quantisierung und der Methodik. Die RTX 4090 und die RTX 5090 unterscheiden sich in Speicherbandbreite und Rechenleistung, was die Kosten zusätzlicher Entwurfstoken verändert. Der erste Benchmark testete die Quantisierungsvarianten K_M und K_XL, der zweite nur K_M, der GitHub-Bericht UD-Q4_K_XL und UD-Q6_K_XL – unterschiedliche Quantisierungen beeinflussen, wie viele vorhergesagte Token akzeptiert werden. Zudem messen die Tests unterschiedliche Dinge: Der erste fokussiert auf reine Tokens pro Sekunde, der zweite auf Genauigkeit und Latenz in einem Bestätigungsbenchmark, der dritte auf Akzeptanzraten über verschiedene Aufgabenklassen. Der erste Benchmark erwähnt keine Genauigkeitsmessung, daher ist seine Aussage „ohne Qualitätsverlust“ nicht belegt. Der zweite Test dokumentiert den Qualitätsverlust explizit. Der dritte zeigt, dass die Akzeptanz zwischen 26 und 100 Prozent schwankt, was die Vorstellung einer festen optimalen Tiefe untergräbt. Zusammengenommen ergibt sich: Es gibt keine universelle optimale MTP-Tiefe für Qwen3.8-27B.

Was bedeutet das für lokale LLM-Nutzer?

Für lokale LLM-Nutzer bedeutet das: Eine pauschale Empfehlung für die MTP-Tiefe gibt es nicht. Wer Qwen3.8-27B mit Multi-Token Prediction beschleunigen will, muss die optimale Tiefe für die eigene Hardware, die verwendete Quantisierung und den konkreten Anwendungsfall selbst ermitteln. Dabei sollten sowohl die Tokens pro Sekunde als auch die Qualität der Antworten gemessen werden, denn höhere Tiefen können die Genauigkeit senken. Die widersprüchlichen Community-Berichte – Tiefe 5 auf einer RTX 4090, Tiefe 4 auf einer RTX 5090, arbeitslastabhängige Optima zwischen MTP5 und MTP16 – führen zu Verunsicherung. Entwickler von Inferenz-Engines wie llama.cpp sind gefordert, flexible MTP-Konfigurationen bereitzustellen, die sich je nach Modell, Quantisierung und Workload anpassen lassen. Der im GitHub-Bericht genannte operative Kompromiss MTP10 ist ein Beispiel für eine solche Anpassung, aber keine allgemeingültige Lösung. Nutzer sollten eigene Benchmarks mit ihren typischen Aufgaben durchführen, bevor sie eine Tiefe festlegen.