GroundingPI: XPeng-Team stellt Grounding-Modell mit 4 Milliarden Parametern vor

XPeng und Partnerhochschulen legen 4-Milliarden-Modell vor, das Punkte und Boxen als Koordinaten ausgibt

GroundingPI ist ein Grounding-Foundation-Modell mit 4 Milliarden Parametern. Es gibt Punkte und Boxen als quantisierte Koordinaten aus, und zwar in einem gemeinsamen Vokabular. Vorgesehen ist es als Wahrnehmungs-Backbone für Vision-Language-Action-Modelle (VLA) und World-Action-Modelle. Bisher stammt deren Wahrnehmung aus allgemeinen Vision-Language- und Videogenerierungs-Backbones. Laut den Autoren scheitern diese an dichten Szenen und winzigen Objekten.

Das Training kombiniert multimodales und räumliches Pretraining, Supervised Fine-Tuning sowie Reinforcement Learning mit GRPO. Die Supervision stammt aus öffentlichen Datensätzen und eigenen Data Engines. Hinter der Arbeit steht ein Team um XPeng Inc. Beteiligt sind mehrere Hochschulen: Peking University, University of Hong Kong, UC Berkeley, Princeton, NUS, Tsinghua und HKUST (GZ).

73,68 % über 34 Benchmarks: Die Angaben der Autoren zu Grounding, Robotik und Fahren

Alle Zahlen in diesem Abschnitt stammen von den Autoren. Über 34 Grounding-Benchmarks mit 11 Wahrnehmungsfähigkeiten und 44 Baselines erreicht GroundingPI im Schnitt 73,68 %. Das größere GPT-6 Astra kommt demnach auf 71,54 %.

Als visuelles Backbone soll das Modell auch Robotermanipulation und autonomes Fahren verbessern. Auf RoboTwin 2.0 übertreffe es jedes evaluierte Backbone in allen vier Out-of-Distribution-Settings, und zwar um bis zu 24,8 % relativ zum jeweils stärksten Backbone. Auf RoboCasa-GR1 schlage es Baselines, die mit 75 % der Demonstrationen trainiert wurden, obwohl GroundingPI nur 50 % davon nutzt. Auf nuScenes nennen die Autoren einen mittleren Open-Loop-L2-Fehler von 0,296 m, wenn GroundingPI als visuelles Backbone dient.

Nur der autoregressive Grounding-Checkpoint ist veröffentlicht, unabhängige Prüfung fehlt

Verfügbar sind das Paper (arXiv:2609.39601), eine Projektseite, eine Online-Demo und das GitHub-Repo groundingpi/GroundingPI. Die Modellkarte nennt jedoch nur den autoregressiven Vision-Language-Checkpoint für Grounding als Inhalt des Repositorys.

Der Anspruch, einen neuen Stand der Technik zu setzen, ist eine Herstellerangabe. Dasselbe gilt für die These, dediziertes Wahrnehmungs-Pretraining sei eine vielversprechende Richtung für Physical Intelligence. Unabhängige Reproduktionen der 34 Benchmarks gibt es nicht. Auch eine Prüfung auf Überlappung zwischen Trainings- und Testdaten fehlt bislang.

Im Umfeld der Autoren arbeitet GroundAnything parallel. Die Arbeit nutzt Diffusions-basiertes paralleles Decoding und nennt für die autoregressive Variante 72,42 % über 30 Benchmarks. Einen anderen Weg geht MolmoPoint vom Allen Institute for AI. Spezielle Pointing-Tokens wählen per Cross-Attention visuelle Tokens aus, statt Koordinaten als Text zu erzeugen.