Training-freies Framework HarnessVLN für embodied Navigation vorgestellt

Training-freies Framework HarnessVLN vorgestellt

Embodied Navigation verlangt von Agenten, visuelle Beobachtungen zu interpretieren, räumliches Wissen aufzubauen und Aktionen auszuführen, um Instruktionen zu folgen oder Objekte zu finden. Ein Forschungsteam hat mit HarnessVLN ein zero-shot und training-freies Framework für diese Aufgabe vorgestellt. Es nutzt multimodale große Sprachmodelle (MLLMs) und führt Wahrnehmung, räumliche Planung und Handlungskoordination über einen sogenannten Agent Harness zusammen. Anders als trainierte Navigationssysteme benötigt HarnessVLN keine aufgabenspezifische Feinabstimmung; die Steuerung erfolgt direkt über die Fähigkeiten der MLLMs. Der Harness dient dabei als zentrale Instanz, die Planungsvorschläge mit räumlicher Evidenz abgleicht und Werkzeuge für Navigation und Fehlerbehebung orchestriert. Konkret koordiniert er Wahrnehmung, Abruf, Grounding, Navigation, Recovery und Abbruch über eine einheitliche Tool-Schnittstelle und validiert Planungsvorschläge gegen räumliche Evidenz, geometrische Machbarkeit und Teilziel-Konsistenz. Strukturiertes Tool-Feedback fließt in nachfolgende Entscheidungen ein, wodurch Wahrnehmung, Planung und Handlung in einem geschlossenen Regelkreis vereinheitlicht werden. Damit zielt das Framework auf eine einheitliche Architektur für Instruktionsfolgen und Objektziel-Navigation.

Agent Harness validiert Pläne und koordiniert Tools

Der Agent Harness koordiniert Wahrnehmung, Abruf, Grounding, Navigation, Recovery und Abbruch über eine einheitliche Tool-Schnittstelle. Diese Komponenten sind nötig, weil training-freie Methoden, die auf MLLMs basieren, oft keine Mechanismen besitzen, um vorgeschlagene Aktionen mit räumlicher Evidenz, Aufgabenfortschritt und Ausführungsfehlern in Einklang zu bringen. Der Harness behebt diese Schwäche, indem er Planungsvorschläge gegen räumliche Evidenz, geometrische Machbarkeit und Teilziel-Konsistenz validiert und strukturiertes Tool-Feedback in nachfolgende Entscheidungen integriert. Ein hierarchisches Event-Memory verfolgt Aufgabenfortschritt und Ausführungshistorie, während ein persistenter Spatiotemporal Graph wiederverwendbare räumliche Evidenz und Fehlerannotationen für Verifikation und Recovery bereithält. Diese beiden Strukturen tragen zur Robustheit bei, da sie es dem System ermöglichen, aus früheren Schritten zu lernen und bei Fehlern gezielt gegenzusteuern. Ein austauschbarer Navigation Executor wandelt validierte Ziele in ausführbare Bewegungen um. Dadurch unterstützt dasselbe Harness-Protokoll sowohl Instruktionsfolgen als auch Objektziel-Navigation, ohne dass die übergeordnete Steuerung angepasst werden muss.

Benchmarks: Erfolgsraten übertreffen bisherige training-freie Spitzenwerte

Auf den Benchmarks R2R, RxR, HM3D-v2 und HM3D-OVON erreicht HarnessVLN Erfolgsraten von 60,8, 53,9, 76,0 und 59,3 Prozent. Nach Angaben der Entwickler übertrifft das Framework damit bisherige training-freie State-of-the-Art-Ergebnisse. Diese Werte gelten als überragend, weil sie die bislang besten Ergebnisse training-freier Ansätze auf diesen etablierten Benchmarks für embodied Navigation übertreffen – und das ohne jegliches Training oder Feinabstimmung. Ein Einsatz auf einem humanoiden Roboter demonstriert laut dem Forschungsteam die Anwendbarkeit auf beide Aufgaben, also Instruktionsfolgen und Objektziel-Navigation, und zeigt die Übertragbarkeit auf reale Roboter.