KI SpotlightNewsSuperNav: Agentisches Navigationssystem ohne navigationsspezifisches Fine-Tuning
Ein vortrainiertes multimodales Sprachmodell trifft die Entscheidungen, spezielle Werkzeuge führen die Bewegungen aus – der Code ist öffentlich verfügbar.
Mit KI erstellt◆ Fakten auf einen Blick
- SuperNav ist ein agentisches Navigationssystem, das multimodale große Sprachmodelle (MLLMs) nutzt, um Aufgaben in beliebigen Szenen zu interpretieren und autonom zu navigieren.
- SuperNav verwendet einen spezialisierten Agenten-Harness, ohne das MLLM navigationsspezifisch feinzutunen.
- Der Harness unterstützt Entscheidungen mit Navigation Skills, agentenorientierten Tools für physische Interaktion sowie Task-Progress- und Context-Management.
- Eine einheitliche Visual-Point-Schnittstelle verbindet Entscheidungsfindung mit Bewegung, indem das Modell Ziele direkt in Bildern spezifizieren und Entscheidungen anhand von Ausführungsfeedback revidieren kann.
- SuperNav übertrifft vier evaluierte Baselines bei instanzbezogenen, multi-objektiven und bedarfsgetriebenen Aufgaben.
- Es wurden eine kategoriebezogene Evaluation auf HM3D und ein Einsatz auf einem echten vierbeinigen Roboter durchgeführt.
Agentisches Navigationssystem ohne Fine-Tuning
SuperNav ist ein agentisches Navigationssystem, das ein vortrainiertes multimodales großes Sprachmodell (MLLM) mit einem spezialisierten Agenten-Harness kombiniert. Anders als bisherige Ansätze, die MLLMs direkt auf Navigationsaktionen feintunen, verzichtet SuperNav auf ein navigationsspezifisches Fine-Tuning des Modells. Stattdessen soll das MLLM Anfragen interpretieren, Szenen verstehen und Entscheidungen treffen, während die Bewegungsausführung an Navigationswerkzeuge delegiert wird. Dadurch soll die Abhängigkeit von der Abdeckung der Navigationstrainingsdaten sinken und die Generalisierung auf neue Aufgaben und Umgebungen verbessert werden. Der Harness unterstützt diese Entscheidungen mit Navigation Skills, agentenorientierten Tools für physische Interaktion sowie Task-Progress- und Context-Management. Eine einheitliche Visual-Point-Schnittstelle verbindet Entscheidungsfindung und Bewegung: Das Modell kann Ziele direkt in Bildern spezifizieren und seine Entscheidungen anhand von Ausführungsfeedback revidieren. Diese Komponenten sollen eine kontinuierliche Navigation über unterschiedliche Aufgabenanforderungen und Umgebungen hinweg ermöglichen.
Open-Source-Repository und Evaluierung
Das öffentliche Repository stellt die Agent Runtime, Navigation Tools und Skills, Experiment Recipes sowie Evaluation Utilities für Habitat-GS und AI2-THOR bereit. Navigationsagenten können mit Codex, OpenCode oder Kimi ausgeführt werden; Aufgaben, Tools und Skills lassen sich über explizite Experimentkonfigurationen zusammenstellen. Die Ausführung kann live beobachtet werden, einschließlich RGB-Beobachtungen, Trajektorien und Tool-Aufrufen. Läufe lassen sich mit gespeicherten Prompts, Tool-Ergebnissen, nativen Logs und unabhängigen Task-Metriken inspizieren und evaluieren. Gelernte Executor-Gewichte sind auf Hugging Face verfügbar. Enthalten sind außerdem der InteriorGS Single-/Multi-Object-Navigationsbenchmark und der AI2-THOR Demand-Driven-Navigationsbenchmark. Real-Robot-Treiber sind derzeit nicht im Repository enthalten. In der Evaluierung übertrifft SuperNav nach Angaben der Autoren vier Baselines bei instanzbezogenen, multiobjektiven und bedarfsgetriebenen Aufgaben. Zudem wurden eine kategoriebezogene Evaluation auf HM3D und ein Einsatz auf einem echten vierbeinigen Roboter durchgeführt.
