KI SpotlightNewsJane Street setzt Mamba-2 mit NVIDIAs cuTile um
Drei Forward-Pass-Kernel sollen laut Hersteller bis zu 1,82-mal schneller laufen als eine offene Triton-Variante. Die Angabe liegt nur sekundär vor: Hardware und Sequenzlängen fehlen.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- NVIDIA beschreibt cuTile als Python-basierte DSL und paralleles Programmiermodell für NVIDIA-GPUs.
- Jane Street implementierte Mamba-2 als Early Adopter in cuTile und optimierte die Kernel mit NVIDIA.
- Drei Kernel für den Mamba-2-Forward-Pass heißen chunk_cumsum, fwd_pass_state und compute_out.
- Laut blockchain.news war die cuTile-Version 1,14x bis 1,82x schneller als eine Triton-Implementierung.
- CUDA Tile wurde mit CUDA 13.1 eingeführt und arbeitet mit einer MLIR-basierten Zwischendarstellung.
Jane Street setzt Mamba-2 mit cuTile um und optimiert drei Kernel mit NVIDIA
Ingenieure des Handelsunternehmens Jane Street haben das Sequenzmodell Mamba-2 als Early Adopter in der Python-DSL cuTile implementiert. Gemeinsam mit NVIDIA optimierten sie es. Das berichtet ein Beitrag im NVIDIA-Entwicklerblog. Darin beschreibt NVIDIA Jane Street als global tätiges Handelsunternehmen, das Deep Learning in der quantitativen Forschung einsetzt.
Der Beitrag behandelt drei eigene Kernel für den Mamba-2-Forward-Pass. Chunk_cumsum berechnet kumulative Summen innerhalb der Chunks. fwd_pass_state überträgt den Zustand zwischen den Chunks. compute_out erzeugt die Ausgabe in fusionierter Form und hält die Matrixoperationen Tensor-Core-freundlich. Dafür kommen cuTile-Primitive wie ct.bid, ct.load, ct.store, ct.cumsum und ct.mma zum Einsatz, dazu Log-Space-Umformulierungen, kausale Maskierung und exp2-basierte Skalierung.
Diese Details stammen aus der Wiedergabe des Posts durch blockchain.news. Der NVIDIA-Originaltext lag nur als Anriss vor. Ob der Code öffentlich ist, ließ sich nicht klären.
1,14x bis 1,82x schneller als Triton: eine Herstellerzahl ohne Hardwareangabe
Laut blockchain.news, das den NVIDIA-Post auf den 19. Oktober 2026 datiert, sei die optimierte cuTile-Version im offengelegten Benchmark-Aufbau von NVIDIA 1,14- bis 1,82-mal schneller gelaufen als eine offene Triton-Implementierung.
Es handelt sich um eine Herstellerangabe zum eigenen Produkt. Hier wird sie nur sekundär zitiert. Welche Hardware und welche Sequenzlängen der Messung zugrunde lagen, nennt das vorliegende Material nicht. Ebenso offen bleibt, ob der Triton-Stand aus dem PyTorch-Umfeld als Vergleichsbasis diente. Die dortigen Benchmark-Zahlen zu einer fusionierten Triton-Variante für A100 und H100 taugen deshalb nicht als Beleg für die NVIDIA-Messung.
Auch die Aussagen, cuTile liefere „Peak Performance“ und die Mamba-2-Implementierung sei „state-of-the-art“, stammen von NVIDIA selbst. Prüfen lassen sich die Werte nur durch unabhängige Benchmarks der Kernel auf definierter Hardware.
Was Teams für cuTile brauchen und was offen ist
Für cuTile Python nennt die Dokumentation Linux (x86_64 oder aarch64) oder Windows x86_64. Vorausgesetzt werden eine GPU mit Compute Capability 8.x bis 12.x, der NVIDIA-Treiber r580 oder neuer und Python 3.10 bis 3.14. Außerdem braucht es das CUDA Toolkit 13.1 oder neuer. Alternativ lässt sich das Paket mit dem Extra [tileiras] installieren. Importiert wird es als cuda.tile.
Offen bleibt die Hardwareabdeckung des Compilers. Laut README unterstützte tileiras in Version 13.2 zunächst Blackwell sowie Ampere und Ada. Hopper sollte später folgen. Der Text bricht an dieser Stelle ab, der aktuelle Hopper-Stand ist daher unklar. cuTile Python selbst ist Open Source und auf GitHub verfügbar. Ein eigenes Repository für die Jane-Street-Kernel ist nicht belegt.
NVIDIA wirbt mit Portabilität über GPU-Architekturen hinweg und mit neuen Hardwarefunktionen ohne Codeänderungen. Eine unabhängige Studie misst bei einem Attention-Kernel allerdings große Unterschiede. Auf der B200 erreicht er das 2,5-Fache von FlashAttention-2, auf einer RTX PRO 6000 (sm_120) nur 53 Prozent. Für die Mamba-2-Kernel liegen keine Cross-Architektur-Daten vor.
