Magnitude: Inferenz-Engine kompiliert Kernel auf dem Zielgerät und verspricht bis zu doppeltes Tempo

Magnitude kompiliert seine Kernel auf dem Zielgerät und verspricht bis zu doppeltes Tempo

Das Open-Source-Projekt Magnitude (Apache 2.0, Y Combinator S25) ist am 30. September 2026 per Launch HN vorgestellt worden. Das im Material geprüfte Release trägt die Version 0.2.3. Die Engine kompiliert und tunt ihre Kernel nach eigenen Angaben direkt auf dem Gerät. Offene Modelle sollen dadurch bis zu doppelt so schnell laufen wie mit llama.cpp oder Ollama. Beide liefern laut Hersteller vorkompilierte Kernel aus.

Die Entwickler Anders und Tom haben zuvor einen quelloffenen Browser-Agenten gebaut. Laut einem Fachbericht kam das Magnitude-Repository am ersten Tag auf 5,8k Sterne. Magnitude stellt eine OpenAI-kompatible API bereit und lässt sich an Pi, OpenCode, Hermes, Codex und Claude Code anbinden. Als unterstützte Plattformen nennt der Hersteller Apple Silicon, NVIDIA, AMD und reine CPU-Systeme. Ein Profiling erfasst Chip, Speicher und Bandbreite. Auf dieser Basis empfiehlt Magnitude passende Modelle mit geschätzten Tokens pro Sekunde und lädt sie erst danach herunter.

Zur Windows-Unterstützung widersprechen sich die Quellen. Diese Meldung trifft dazu keine Aussage.

Die Herstellerzahlen: 92 Prozent auf dem Mac, 19 Prozent auf CUDA

Der belegte Vergleich mit llama.cpp steht in der README des Projekts. Auf einem Mac mit M4 Pro und 48 GB (Metal) steigt das Decode-Tempo laut Angabe um 92 Prozent, von 30 auf 57 Tokens pro Sekunde. Das Prefill wird um 9 Prozent schneller. Auf einer DGX Spark (CUDA) liegen die Werte bei 19 Prozent beim Decode und 23 Prozent beim Prefill. Gemessen wurde mit Qwen 3.6 35B A3B, 4-bit, 64k Kontext und ohne Speculative Decoding.

Gegenüber Ollama nennt der Hersteller auf magnitude.dev im Mittel das 2,19-Fache beim Decode auf dem Mac und das 2,17-Fache auf der DGX Spark. Dort ist Speculative Decoding bei beiden Engines aktiv. Einige Ollama-Werte stammen aus Einzelläufen eines früheren Durchgangs derselben Messumgebung. Der Faktor 2 hängt also stark von Baseline und Konfiguration ab. Auf CUDA liegt Magnitude gegenüber reinem llama.cpp knapp ein Fünftel vorn, gegenüber Ollama mehr als doppelt so schnell.

Der Hersteller selbst schränkt ein, dass die Zahlen nur für das genannte Modell, die Quantisierung, den Kontext und die Hardware gelten. Die Anzahl der Läufe, die llama.cpp-Version und die Build-Flags des README-Vergleichs sind nicht dokumentiert. Ein Review hält den Vorsprung für geringer als beworben, weil MLX-basierte Engines die Lücke weitgehend geschlossen hätten. Ob der Autor Ollama mit MLX selbst gemessen hat, geht aus dem Material nicht hervor.

Halbierte Latenz bei 70B-Modellen: Eine Messung fehlt

Im Umlauf ist die Behauptung, Magnitude halbiere die Latenz bei 70B-Modellen gegenüber Ollama. Die auffindbaren Primärzahlen stützen das nicht. Sie nennen Decode-Tokens pro Sekunde statt Latenz und beziehen sich auf ein 35B-A3B-MoE-Modell. Eine 70B-Messung gibt es nicht. Der Test auf dev.to nutzt Llama-3.1-8B. Eine unabhängige Reproduktion liegt ebenfalls nicht vor.

Möglicherweise wurde das 2,19-fache Decode-Tempo zu halber Latenz und zu 70B verallgemeinert. Das wäre unzulässig. Ein MoE mit 3B aktiven Parametern ist ein anderer Lastfall als ein dichtes 70B-Modell.

Ollama-Nutzer mit 70B-Modellen sollten deshalb erst nach eigenen Tests oder unabhängigen Benchmarks wechseln. Vom Nutzen des Profilings, das die Geschwindigkeit eines Modells vor dem Download abschätzt, bleibt das unberührt.