Transformers streamt MoE-Experten von der SSD und kommt auf 6 Prozent an Strata heran
Tarek Ziadés experimenteller Pfad lässt Qwen3.8-Flash-Next mit rund 180 Milliarden Parametern auf einem MacBook M5 mit 32 GB laufen. Es ist bislang nur ein Pull Request.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- Strata ist eine Inferenz-Engine für MoE-Modelle wie Qwen; nur heiße Experten bleiben im VRAM.
- Experten machen laut Blogpost über 90 % der Gewichte eines MoE-Modells aus.
- Qwen3.8-Flash-Next hat 48 Layer mit je 512 Experten, davon 10 aktiv pro Token.
- Experten belegen 121 GB in FP8; die 51 GB große n-gram-Embedding-Tabelle bleibt auf der Platte.
- Prefill erreicht 228 tok/s bei einem 4K-Prompt laut Blogpost.
Transformers streamt MoE-Experten von der SSD und kommt auf 6 Prozent an Strata heran
Tarek Ziadé beschreibt in einem Hugging-Face-Blogpost vom 18. November 2026 einen experimentellen Pfad für die Transformers-Bibliothek. Die Option `experts_offload` lädt Experten eines Mixture-of-Experts-Modells (MoE) erst bei Bedarf von der SSD. Auf einem MacBook M5 mit 32 GB Unified Memory erreicht Qwen3.8-Flash-Next, ein Modell mit rund 180 Milliarden Parametern, beim kurzen Decoding 13,9 Token pro Sekunde. Die spezialisierte Engine Strata schafft im selben Test 14,8 tok/s. Der Abstand beträgt rund 6 Prozent. Der Prefill bei einem 4K-Prompt liegt laut Blogpost bei 228 tok/s.
Strata ist eine Inferenz-Engine für MoE-Modelle. Sie hält nur die heißen Experten im VRAM und legt den Rest in RAM oder auf der Platte ab. Dass Strata als Referenz gilt, behauptet der Blogautor. Eine unabhängige Wertung ist das nicht.
Der 6-Prozent-Wert stammt aus Ziadés eigenem Kurz-Decode-Test. Für längere Kontexte ist er nicht belegt. Der Blogpost verweist außerdem auf einen anderen Beitrag, wonach Strata auf einem 32-GB-Mac M4 mit demselben Modell 13,5 tok/s erreicht. Warum dieser Wert vom eigenen Messwert abweicht, ist bislang nicht bekannt.
Ein gemeinsamer Slot-Pool hält den grouped_mm-Kernel unverändert am Laufen
Der Kniff heißt laut Blogpost „Slot-Pool“. Ein einziger, vorab allokierter Tensor steht allen Layern gemeinsam zur Verfügung. Pro Layer bildet eine Tabelle Experten-IDs auf Slots ab. Die vom Router gewählten IDs werden auf Slots umgemappt. So läuft der vorhandene grouped_mm-Kernel von Transformers unverändert auf dem Pool. Einen eigenen Expert-Matmul braucht es nicht.
Fehlt ein Experte im Cache, lesen acht I/O-Threads ihn nach. Jeder Experte wird dabei in einem zusammenhängenden Read geladen. Um die Trefferquote zu erhöhen, laufen die Router der nächsten zwei Layer vorab. Sie dienen dazu, wahrscheinlich benötigte Experten vorzuladen.
Damit das in 32 GB funktioniert, sind die Experten auf 3 Bit quantisiert. 49 GB liegen auf der Platte, 12 GiB im GPU-Cache. Die dichten Layer liegen in 8 Bit vor (ca. 5,4 GB). Laut Blogpost kosten sie 0,2 Prozent Perplexity gegenüber BF16.
180B Parameter passen nicht im herkömmlichen Sinn in 32 GB
Die Schlagzeile „180B laufen mit 32 GB“ ist verkürzt. Qwen3.8-Flash-Next hat 48 Layer mit je 512 Experten, von denen pro Token 10 aktiv sind. Allein die Experten belegen in FP8 121 GB. Nach der 3-Bit-Quantisierung bleiben 49 GB, die auf der SSD liegen. Dazu kommt eine n-gram-Embedding-Tabelle mit 51 GB, die ebenfalls auf der Platte verbleibt.
Der Arbeitsspeicher reicht also aus. Der gesamte Speicherbedarf inklusive Platte ist aber deutlich größer. Wie schnell das Modell läuft, hängt von Quantisierung, Caching und SSD-Bandbreite ab. Es handelt sich um einen Forschungsprototyp. Einen fertigen Weg, beliebige Großmodelle auf Laptops zu betreiben, stellt er nicht dar.
Nur ein Pull Request, für Coding-Agenten zu langsam, das Prinzip ist nicht neu
Der Code liegt als Transformers-Pull-Request 50717 vor. Ein Release gibt es nicht. Die API wird noch mit den Maintainern diskutiert. Ziadé hält das Tempo für Coding-Agenten noch für zu langsam.
Hinzu kommt ein möglicher Kostenfaktor. Eine Studie beziffert für SSD-Offloading von MoE-Gewichten einen deutlich höheren Energiebedarf pro Token, bis zum Zwölffachen gegenüber HBM, bezogen auf Modelle wie DeepSeek-R1. Sie untersucht Ziadés Pfad nicht.
Neu ist die Integration in Transformers, nicht das SSD-Streaming von Experten. Edge0 streamt laut Paper ein 35B-MoE mit trainiertem Routing-Prädiktor und erreicht 20 tok/s bei 3 GiB aktivem Spitzenspeicher. FlashMoE verbessert laut Paper die Cache-Trefferrate um bis zu 51 Prozent gegenüber LRU und LFU. Das GitHub-Projekt mlx-moe-offload verwaltet Experten auf Apple Silicon seitenweise per mmap und beruft sich auf „LLM in a flash“.
ai-brainer.com deutet das Ergebnis als Hinweis, dass Software-Optimierung Hardwareanforderungen „massiv“ senken könne. Das ist eine Einschätzung des Portals. Das Portal lässt selbst offen, ob der Ansatz für eine breite Nutzerschaft praktikabel ist.



