Neuer Benchmark prüft Selbstwahrnehmung von Drohnen

Neuer Benchmark prüft Selbstwahrnehmung von Drohnen

Autonome unbemannte Luftfahrzeuge (UAVs) setzen zunehmend auf multimodale große Sprachmodelle (MLLMs), um in komplexen realen Umgebungen zu operieren. Diese Modelle verarbeiten gleichzeitig verschiedene Datenarten wie Bilder und Sprache und ermöglichen so ein tieferes Verständnis der Situation. In solchen verkörperten Szenarien genügt es jedoch nicht, nur den umgebenden Raum zu interpretieren. Die Systeme müssen zusätzlich eine kohärente Repräsentation ihrer selbst aufrechterhalten – also wissen, wo und in welchem Zustand sie sich innerhalb der Szene befinden. Diese Fähigkeit zur Selbstwahrnehmung ist eine grundlegende Voraussetzung für autonomes Handeln, wurde aber in bisherigen Bewertungsverfahren kaum berücksichtigt. Bestehende UAV-Benchmarks und -Ansätze bleiben weitgehend umgebungszentriert und konzentrieren sich primär auf Aufgaben des räumlichen Verständnisses. Die Selbstwahrnehmung des Agenten wird dabei nur implizit behandelt, ohne dass sie als eigenständige Dimension geprüft wird. Das Paper „Self in Space“ adressiert genau diese Lücke und präsentiert einen neuen Benchmark, der explizit die Selbstwahrnehmung und räumliche Kognition des Agenten bewertet. Damit wird erstmals eine systematische Prüfung jener Fähigkeiten möglich, die für den Einsatz von MLLM-gesteuerten Drohnen in dynamischen, komplexen Umgebungen unverzichtbar sind. Der Benchmark stellt die verkörperte Intelligenz in den Mittelpunkt und verlangt von den Systemen, nicht nur ihre Umgebung zu verstehen, sondern auch das eigene Selbst als Teil dieser Umgebung zu begreifen und in die Entscheidungsfindung einzubeziehen.

Bestehende Tests bleiben umgebungszentriert

Die Entwicklung von UAVs, die mit multimodalen großen Sprachmodellen ausgestattet sind, hat die Anforderungen an die Bewertung ihrer Fähigkeiten grundlegend verändert. In verkörperten Szenarien müssen diese Systeme nicht nur den umgebenden Raum verstehen, sondern auch eine kohärente Repräsentation ihrer selbst aufrechterhalten. Die bisher verfügbaren Benchmarks und Ansätze werden diesem doppelten Anspruch jedoch nicht gerecht. Sie sind nach wie vor fast ausschließlich umgebungszentriert und konzentrieren sich primär auf Aufgaben des räumlichen Verständnisses, wie etwa die Erkennung von Objekten oder die Interpretation von Szenen. Die Selbstwahrnehmung des Agenten – also das explizite Wissen um die eigene Position, Orientierung und den eigenen Zustand innerhalb dieser Umgebung – bleibt dabei implizit und wird nicht gezielt abgefragt. Diese implizite Behandlung führt zu einer entscheidenden Lücke: Die Fähigkeit eines UAVs, sich selbst als handelndes Subjekt im Raum zu begreifen, wird nicht als eigenständige, kritische Komponente der verkörperten Intelligenz bewertet. Genau diese Lücke schließt der neue Benchmark „Self in Space“, indem er die Selbstwahrnehmung und räumliche Kognition des Agenten explizit in den Mittelpunkt der Evaluation rückt. Dadurch wird eine umfassendere Prüfung möglich, die über das reine Umgebungsverständnis hinausgeht und die kohärente Repräsentation des Agenten selbst als integralen Bestandteil der Aufgabenstellung betrachtet.