Qwen 3.8 Flash Next: Alibabas experimentelle Vorschau auf Qwen4 ist da

Qwen 3.8 Flash Next: Alibabas experimentelle Vorschau auf Qwen4 ist da

Das Qwen-Team von Alibaba hat Qwen 3.8 Flash Next auf Hugging Face veröffentlicht. Das Modell ist unter Qwen/Qwen3.8-Flash-Next abrufbar und besitzt eine Image-Text-zu-Text-Pipeline sowie den Architektur-Tag qwen4_exp. Nach Angaben des Teams handelt es sich um eine experimentelle Vorschau der Architektur, die Qwen4 untermauern soll. Technisch setzt das Modell auf Hybrid Attention mit Gated DeltaNet und Qwen Sparse Attention (QSA). Die Kombination aus Gated DeltaNet und Gated Attention wurde zu Gated DeltaNet und Qwen Sparse Attention (QSA) überarbeitet. Die offizielle Produktionsversion auf Basis dieser Vorschau ist Qwen3.8-Flash, die standardmäßig einen Kontext von einer Million Token und eingebaute Tools mitbringt. Qwen 3.8 Flash Next ist damit ein Zwischenschritt: offene Gewichte, aber klar als Experiment gekennzeichnet, nicht als fertiges Produkt für den Produktiveinsatz.

INT4-Quantisierung macht das Modell auf vier RTX 3090 lauffähig

Eine INT4-Quantisierung (W4A16, group-128, symmetrisch) im compressed-tensors-Format macht das Modell auf Consumer-Ampere-GPUs lauffähig. Die offizielle FP8-Variante scheitert dort, weil Ampere-Karten (SM86) kein FP8 unterstützen. Die Quantisierung reduziert den Speicherbedarf von 335 GB (BF16) auf 168 GB auf der Platte. Davon sind nur etwa 66 GB GPU-resident; die 102 GB großen n-Gram-Tabellen (PLE) bleiben im Host-RAM und werden über vLLM PLE Offload ausgelagert. Auf einem System mit vier RTX 3090 (96 GB VRAM) läuft das Modell damit unter vLLM. Als praktische Mindestanforderung nennt mindstudio.ai 128 GB System-RAM, da der Speicherverbrauch beim Start nahe 100 GB liegt. Die funktionierende Startkonfiguration umfasst max-model-len 131072, max-num-seqs 2, max-num-batched-tokens 2048, gpu-memory-utilization 0.96, cuda-graph-mode full und enable-prefix-caching. Async-Scheduling sollte deaktiviert bleiben: Es bringt zwar etwa zehn Token pro Sekunde mehr, führt aber ohne zusätzliche Patches zu Abstürzen.

Unabhängiger Test: Starke Bildverarbeitung, Schwächen bei ressourcenarmen Sprachen

Ein unabhängiger Test des Qwen3.8-27B-Modells – laut Quelle ein dichtes 27B-Vision-Language-Modell mit derselben Hybrid-Attention-Architektur – zeigt ein gemischtes Bild. Die Bildverarbeitung ist eine Stärke: Das Modell rekonstruierte Text auf einem indonesischen Straßenschild und zeigte starke Bildlogik bei einem berühmten Gemälde sowie mehrsprachiger Handschrift. Bei der Übersetzung in rund 80 Sprachen wird die Qualität jedoch ungleich: Wichtige Sprachen funktionieren gut, ressourcenarme Sprachen wie Telugu, Malayalam, Khmer und Sindhi fallen deutlich ab. Die Ergebnisse waren konsistent: solide Kernfähigkeiten bei Vision und Reasoning, aber eine schnell ausdünnende Mehrsprachigkeit im Long Tail.

Die starke Bildverarbeitung lässt sich auf die hybride Aufmerksamkeitsarchitektur zurückführen, die visuelle Informationen über die Kombination aus linearem Gated DeltaNet und voller Aufmerksamkeit effizient verarbeitet. Die Schwächen bei ressourcenarmen Sprachen deuten dagegen auf eine ungleiche Abdeckung im Trainingskorpus hin: Für weit verbreitete Sprachen stehen ausreichend Daten zur Verfügung, während Sprachen mit geringen Ressourcen unterrepräsentiert sind und daher die Übersetzungsqualität einbricht.

Widerspruch: 96k oder 131k Kontext auf Consumer-Hardware?

Zur unterstützten Kontextlänge auf vier RTX 3090 gibt es einen belegten Widerspruch. Position A: Die INT4-Quantisierung mit PLE-Offload läuft auf 4×24 GB mit 96k Kontext. Das ist die Angabe des Quantisierers, der die 102 GB n-Gram-Tabellen im Host-RAM auslagert und den Kontext entsprechend begrenzt. Position B: Ein Quad-RTX-3090-Setup kann das Modell mit vollem 131.072-Token-Kontext bedienen. Diese Angabe stammt aus Berichten über eine andere INT4-Quantisierung von Vinnie AI. Die unterschiedlichen Quantisierungsansätze und Speicherauslagerungen könnten die Ursache für diese abweichenden Angaben sein. Welche Konfiguration im Alltag stabiler ist, bleibt offen – beide Quellen nennen keine Langzeittests.

Was das für lokale Nutzer und die Open-Source-Community bedeutet

Die lokale Lauffähigkeit auf Consumer-Ampere-GPUs ist ein praktischer Fortschritt. Entwickler und lokale Nutzer können ein großes Vision-Language-Modell ohne Cloud-Zugang betreiben, sofern sie vier RTX 3090 und 128 GB System-RAM bereitstellen. Die Quantisierer spielen dabei eine zentrale Rolle: Vinnie AI liefert die INT4-Variante mit vollem Kontext, cyankiwi eine AWQ-INT4-Version, die auf 8×3090 wirtschaftlicher arbeitet, aber nicht auf 4×24 GB passt. Das vLLM-Projekt stellt mit PLE Offload und den Startparametern die Infrastruktur bereit. Für die Open-Source-Community bedeutet das: Große Modelle mit Hybrid Attention und Vision werden auf gebrauchter Consumer-Hardware testbar, ohne auf teure Rechenzentren angewiesen zu sein. Die experimentelle Natur von Qwen 3.8 Flash Next bleibt dabei zu beachten – es ist eine Vorschau, keine stabile Produktionsversion.