Live Game2Player: Builder-Agent wandelt 568 Web-Spiele in überprüfbare Trainingsumgebungen
↘

MIT und NVIDIA lassen LLM-Agenten Quantisierungsrezepte entwerfen

Das System QDA lässt einen Agenten Rezepte für die Quantisierung von Sprachmodellen entwerfen und bewerten. Code und Checkpoints sind offen, die Modellkarten nennen aber klare Hardwaregrenzen.

· Veröffentlicht: 22.11.2026 ·3 Min Lesezeit
MIT und NVIDIA lassen LLM-Agenten Quantisierungsrezepte entwerfenMit KI erstellt
Inhalt
◆ Fakten auf einen Blick
  • QDA stammt von Xingyang Li, Tianlang Zhao, Song Han und Ligeng Zhu (MIT und NVIDIA).
  • Ein Agent bestimmt das Quantisierungsrezept je Modell und Präzision; Bewertung über Output-KL-Divergenz in Minuten.
  • Laut Autoren verbessert QDA die Genauigkeit im Mittel um 0,9 bis 2,2 Prozentpunkte gegenüber dem stärksten öffentlichen Rezept.
  • Bei GLM-5.3-Flash (NVFP4) erreicht QDA 98,3 % der Genauigkeit des FP8-Modells, der beste Hersteller-Checkpoint 96,9 %.
  • Der Code ist öffentlich unter github.com/humanfia/qda; Checkpoints unter huggingface.co/qda-lab verfügbar.

MIT und NVIDIA lassen einen LLM-Agenten Quantisierungsrezepte entwerfen

Forscher von MIT und NVIDIA haben QDA vorgestellt. Das System lässt einen LLM-Agenten das Rezept für die Quantisierung eines Sprachmodells entwerfen. Das Paper „QDA: Closed-Loop LLM Quantization Design with Agents“ stammt von Xingyang Li und Tianlang Zhao (gleichberechtigt), Song Han und Ligeng Zhu. The Agent Times nennt als Einreichungsdatum den 17. November 2026 bei arXiv (arXiv:2611.23388). Datum und Kennung stammen allein von diesem Medium.

Der Agent arbeitet in einem geschlossenen Kreislauf aus Bauen und Bewerten. Er schlägt ein Rezept vor, QDA baut das quantisierte Modell und bewertet es. Die Bewertung dauert nur Minuten. Grund dafür ist, dass QDA die Output-KL-Divergenz zum Originalmodell auf Reasoning-Traces misst, die der Agent nie zu sehen bekommt. Aussichtsreiche Kandidaten prüft das System zusätzlich mit langen Generierungen, um Fehler wie Wiederholungsschleifen zu erkennen.

Die Autoren argumentieren, Experten müssten das Rezept für jedes neue Modell neu entwerfen. Das sei zeitaufwendig und oft suboptimal. Diese Einschätzung stammt von den Autoren. Unabhängig belegt ist sie nicht.

0,9 bis 2,2 Prozentpunkte mehr Genauigkeit bei 64 GPU-Stunden pro Suche

Die Kennzahlen stammen aus dem Paper und sind Autorenangaben. Über vier Reasoning-Modelle hinweg verbessert QDA die Genauigkeit gegenüber dem stärksten öffentlichen Rezept im Mittel um 0,9 Prozentpunkte (W4A16), 1,4 (W4A8) und 2,2 (W3A16). Eine Suche kostet 64 GPU-Stunden. Beim 320B-MoE-Modell GLM-5.3-Flash in NVFP4 erreicht QDA nach Angaben der Autoren 98,3 Prozent der Genauigkeit des FP8-Modells. Der beste Hersteller-Checkpoint kommt auf 96,9 Prozent.

Dazu kommen veröffentlichte Checkpoints. Die Modellkarten nennen dafür die Werte: Nemotron-3-Nano-30B-A3B in W3A16 schrumpft von 63,2 auf 14,7 GB und behält 98,1 Prozent der BF16-Genauigkeit. Gemma-4-26B-A4B in NVFP4 belegt 16,9 statt 51,6 GB bei 97,6 Prozent. Qwen3.5-9B in W4A8 kommt auf 9,0 statt 19,3 GB bei 98,0 Prozent.

Unabhängige Nachbauten gibt es bislang nicht. Die Behauptung, mehr Runden des Agenten führten zu besseren Rezepten, steht in der Zusammenfassung des Papers, ist dort aber nur behauptet. Belegen ließe sie sich durch Skalierungskurven über die Iterationen und unabhängige Läufe.

Code und Checkpoints sind offen, laufen aber nicht überall

Öffentlich sind der Code (github.com/humanfia/qda, QDA 0.1.0; Voraussetzungen: Linux, NVIDIA-GPU und uv), die Checkpoints unter huggingface.co/qda-lab sowie der Datensatz qda-recipe-inputs mit Kalibrier- und Distillationsdaten. Damit lassen sich die Checkpoints per `qda build` nachbauen.

Die Projektseite verspricht, das beste Rezept werde als Checkpoint ausgeliefert, den Standard-vLLM oder llama.cpp ohne Zusatzcode laden. Die Modellkarten nennen allerdings konkrete Grenzen. Das W3A16-Format läuft nur mit vLLM, SGLang wird nicht unterstützt. Als Hardware nennen die Karten H100, A100, L40S, RTX Pro 6000 und B200. Ohne CUDA-13-Toolkit scheitert der Kernel-Start. Der W4A8-Kernel setzt Hopper (sm90) voraus, FP4 läuft nativ auf Blackwell. Die beiden Aussagen widersprechen sich vermutlich nicht: „ohne Zusatzcode“ bezieht sich auf das Laden, die Karten beschreiben die Hardwarevoraussetzungen. Zu llama.cpp und GGUF machen die Modellkarten keine Angaben. Das bleibt offen.

Für Betreiber ohne passende NVIDIA-GPUs heißt das: Die in den Modellkarten genannten Formate laufen nur mit vLLM auf den aufgeführten NVIDIA-GPUs, W4A8 nur auf Hopper, NVFP4 nativ nur auf Blackwell. Ob ein Einsatz über llama.cpp/GGUF oder auf anderer Hardware möglich ist, geben die Modellkarten nicht her. Die Projektseite nennt außerdem eine GPTQ-Implementierung, die auf zwei H100 2,95- bis 10,69-mal schneller als llm-compressor 0.15 laufen soll.

A
Andreas Rüdiger
Herausgeber & Redaktionsleitung · KI-Modelle, Technik & Business

Andreas Rüdiger ist Gründer der Agentur INREMA und verantwortet KI Spotlight redaktionell. Sein Schwerpunkt liegt auf KI-Modellen, Recheninfrastruktur, technischen Entwicklungen und der wirtschaftlichen Einordnung. Er sorgt dafür, dass komplexe KI-Themen verständlich und nachvollziehbar aufbereitet werden. Mehr zu ihm auf inrema.de und andiger.de.

Ähnliche Artikel