KI SpotlightNewsDrei VLA-Modelle stellen modulare Architektur im autonomen Fahren infrage
AutoVLA, Alpamayo-R1 und Qwen-Drive-1.0 integrieren Wahrnehmung, Planung und Kontrolle in einem Transformer – doch DiffStack zeigt, dass Modularität end-to-end trainierbar bleibt.
Mit KI erstellt◆ Fakten auf einen Blick
- Qwen-Drive-1.0 integriert 3D-Wahrnehmung, visuelle Fragenbeantwortung und Bewegungsplanung in einem einheitlichen Framework und verwendet einen externen Bird's-Eye-View-Wahrnehmungskopf sowie einen Planning Expert.
- AutoVLA vereint Reasoning und Aktionsgenerierung in einem einzigen autoregressiven Modell, tokenisiert kontinuierliche Trajektorien in diskrete Aktionen und nutzt überwachtes Feintuning mit zwei Denkmodi (fast/slow) sowie verstärkendes Feintuning mit GRPO.
- Alpamayo-R1 integriert Chain-of-Causation-Reasoning mit Trajektorienplanung, verwendet eine modulare VLA-Architektur mit Cosmos-Reason und einem diffusionsbasierten Trajektoriendecoder und trainiert mehrstufig mit SFT und RL.
- AutoVLA wurde auf den Datensätzen und Benchmarks nuPlan, nuScenes, Waymo und CARLA evaluiert.
- Alpamayo-R1 erreicht bis zu 12% Verbesserung der Planungsgenauigkeit in herausfordernden Fällen und eine 35%ige Reduktion der Close-Encounter-Rate in Closed-Loop-Simulation.
- Qwen-Drive-1.0 zeigt in Open-Loop-, Pseudo-Closed-Loop- und Closed-Loop-Evaluationen wettbewerbsfähige Bewegungsplanungsleistung.
Drei neue VLA-Modelle ersetzen den modularen Staffellauf
AutoVLA, Alpamayo-R1 und Qwen-Drive-1.0 zeigen, wie Wahrnehmung, Planung und Kontrolle in einem einzigen Transformer-basierten System integriert werden können. Die Ansätze unterscheiden sich deutlich.
AutoVLA integriert Wahrnehmung, Planung und Kontrolle in einem einzigen autoregressiven Transformer. Es gibt keinen separaten Wahrnehmungskopf: Visuelle Tokens und Sprachinstruktionen werden direkt in den Decoder eingespeist, der semantisches Reasoning und Trajektorienplanung in einem Schritt erzeugt. Kontinuierliche Trajektorien werden in diskrete, ausführbare Aktions-Tokens tokenisiert und in die Sprachmodell-Sequenz integriert – diese Tokens sind die Kontrollausgabe, die direkt als Steuerbefehl dient. Dadurch entfallen zwischengeschaltete Repräsentationen und Schnittstellen.
Qwen-Drive-1.0 behält die Architektur eines vortrainierten VLM bei und integriert 3D-Wahrnehmung, visuelle Fragenbeantwortung und Bewegungsplanung in einem einheitlichen Framework. Der Transformer erzeugt geteilte Repräsentationen, auf die ein externer BEV-Wahrnehmungskopf (für 3D-Objekterkennung, Belegungsvorhersage, Kartensegmentierung) und ein Planning Expert zugreifen. Der Planning Expert generiert aus denselben Repräsentationen zukünftige Ego-Trajektorien, die als Kontrollsignal an die Fahrzeugregelung übergeben werden. So integriert der Transformer Wahrnehmung und Planung über geteilte Repräsentationen, während die Kontrolle über den eng gekoppelten Planning Expert erfolgt.
Alpamayo-R1 kombiniert Cosmos-Reason, ein für Physical AI vortrainiertes VLM, mit einem diffusionsbasierten Trajektoriendecoder. Der Transformer übernimmt Wahrnehmung und kausales Reasoning; der Decoder generiert aus den Transformer-Repräsentationen dynamisch machbare Trajektorien in Echtzeit. Diese Trajektorien sind die Handlungsausgabe und dienen als Kontrollsignal. Die Integration erfolgt, indem der Decoder die Transformer-Ausgaben als Konditionierung nutzt – ein einziges End-to-End-Modell mit Transformer-Kern.
Gegenstimme: Modularität lässt sich end-to-end trainieren
DiffStack widerspricht der Annahme, dass nur ein einziger Transformer Fehlerfortpflanzung und Informationsengpässe überwinden kann. Die Autoren zeigen, dass modulare Stacks – mit getrennten Komponenten für Vorhersage, Planung und Kontrolle – durch differenzierbare Optimierung end-to-end trainiert werden können, ohne Modularität aufzugeben. Dazu werden Planungs- und Kontrollalgorithmen differenzierbar gemacht, sodass Gradienten durch sie hindurch zurückpropagiert werden können. Auf nuScenes verbesserte das Training die Open-Loop-Planungsmetriken deutlich, weil das System lernte, Vorhersagefehler zu vermeiden. Damit entsteht eine offene Debatte: VLA-Befürworter betonen die nahtlose Integration eines einzigen Transformers, während DiffStack zeigt, dass modulare Architekturen ihre Vorteile – Interpretierbarkeit, Wiederverwendbarkeit – behalten und gleichzeitig end-to-end optimiert werden können. Welcher Ansatz sich in sicherheitskritischen Szenarien durchsetzt, ist offen.
