DeepVoyager-VL: Ein Modell für die visuell gesteuerte Tiefensuche

DeepVoyager-VL: Ein Modell für die visuell gesteuerte Tiefensuche

Mit DeepVoyager-VL wird ein multimodales Modell vorgestellt, das eine Vision-in-the-Loop-Suche einführt. Der Ansatz zielt darauf ab, langfristig handelnde multimodale Agenten zu befähigen – Systeme, die über ausgedehnte Zeithorizonte hinweg eigenständig visuelle Informationen sammeln, interpretieren und auf dieser Basis komplexe Aufgaben lösen. Multimodale große Sprachmodelle (MLLMs) haben in den letzten Jahren Fortschritte bei der visuellen Wahrnehmung und beim logischen Schließen erzielt, doch ihr Wissen bleibt statisch: Es stammt aus den Trainingsdaten und wird nach dem Training nicht aktualisiert. Für wissensintensive oder dynamisch veränderliche Probleme in offenen Umgebungen reicht dieses parametrische Wissen nicht aus. Hier setzt DeepVoyager-VL an.

Das Modell verfolgt das Konzept der multimodalen Tiefensuche. Anders als herkömmliche Systeme, die auf einmalige Faktenabfragen beschränkt sind, sammelt DeepVoyager-VL in mehreren Schritten visuelle Evidenz und nutzt diese Evidenz, um die weitere Suche zu steuern. Die Vision-in-the-Loop-Architektur beschreibt einen iterativen Prozess, der das statische Wissen gezielt erweitert: In jedem Zyklus nimmt das Modell ein Bild oder einen Videostream auf, extrahiert daraus Merkmale und interpretiert den Inhalt. Diese Interpretation wird mit dem übergeordneten Ziel abgeglichen, und auf Basis der identifizierten Wissenslücken wird der nächste Suchschritt festgelegt – etwa die Entscheidung, die Perspektive zu wechseln, einen Bildausschnitt genauer zu analysieren oder eine externe Quelle zu konsultieren. Die daraus resultierende Aktion liefert neues visuelles Material, das wiederum in den Zyklus eingespeist wird. So entsteht ein geschlossener Regelkreis aus Wahrnehmung, Interpretation und Handlungsentscheidung, der sich über viele Runden erstrecken kann. Jede Iteration fügt dem Agenten neue, kontextbezogene Informationen hinzu, die nicht in den ursprünglichen Trainingsdaten enthalten waren. Dadurch wird das parametrische Wissen schrittweise um aktuelle, visuell validierte Evidenz ergänzt – der Agent erschließt sich aktiv neues Wissen, anstatt nur auf gespeicherte Informationen zurückzugreifen. Diese Fähigkeit ist für Anwendungen relevant, bei denen statische Modelle an Grenzen stoßen – etwa bei der Erkundung unbekannter Umgebungen, der wissenschaftlichen Bildanalyse oder der Suche nach spezifischen Objekten in großen, unstrukturierten visuellen Datenbeständen.

Mehrstufige Evidenz statt einmaliger Faktenabfrage

Die zentrale Veränderung gegenüber bisherigen multimodalen Modellen liegt im Übergang von der einstufigen Faktenabfrage zur mehrstufigen, visuell gesteuerten Suche. Bisherige MLLMs arbeiten überwiegend nach dem Muster: Eine Frage wird gestellt, das Modell greift auf sein internes Wissen zu und generiert eine Antwort. Dieses Vorgehen stößt an Grenzen, sobald die benötigte Information nicht im Trainingskorpus enthalten ist oder sich die Welt seit dem Training weiterentwickelt hat. DeepVoyager-VL bricht mit diesem Paradigma, indem es einen Suchprozess initiiert, der sich über mehrere Runden erstreckt und in jedem Schritt visuelle Evidenz – etwa aus Bildern, Videos oder Live-Kameradaten – erhebt und analysiert.

Der mehrstufige Zyklus lässt sich in klar definierte Stufen gliedern:

• Visuelle Erfassung und Merkmalsextraktion: Das Modell empfängt einen visuellen Input (z. B. ein Kamerabild) und extrahiert daraus Merkmale wie Objekte, Texturen oder räumliche Beziehungen. Diese Merkmale werden in eine strukturierte Repräsentation überführt.
• Interpretation und Zielabgleich: Die extrahierte Repräsentation wird mit dem aktuellen Suchziel verglichen. Das Modell bewertet, welche Informationen bereits vorliegen und welche Wissenslücken noch bestehen.
• Entscheidung über den nächsten Schritt: Auf Grundlage der Evidenzlage und des verbleibenden Informationsbedarfs wählt das Modell eine Aktion aus – beispielsweise das Schwenken der Kamera, das Heranzoomen an einen verdächtigen Bereich oder das Abrufen von Metadaten zu einem erkannten Objekt.
• Aktionsausführung und neue Evidenz: Die gewählte Aktion wird ausgeführt, wodurch neues visuelles Material erfasst wird. Dieses Material wird sofort wieder in Schritt 1 eingespeist.
• Dynamische Wissensakkumulation: Die in jedem Durchlauf gewonnenen Erkenntnisse fließen in einen kontinuierlich aktualisierten Wissensstand ein, der die Suchhistorie abbildet und konsistente Schlussfolgerungen über lange Zeiträume ermöglicht.

Dieser Ansatz ist besonders für langfristige Aufgaben relevant, bei denen Agenten über längere Zeiträume hinweg agieren müssen. Ein statisches Modell würde hier schnell an seine Grenzen stoßen, weil es nicht auf unvorhergesehene Entwicklungen reagieren kann. DeepVoyager-VL hingegen kann seine Suche kontinuierlich anhand neuer visueller Eindrücke justieren. Die Modellbeschreibung spricht von einer Evolution der multimodalen Tiefensuche: von der reinen Faktenabfrage hin zu einem langfristigen, evidenzbasierten Erkundungsprozess. Die Vision-in-the-Loop-Architektur stellt sicher, dass die visuelle Wahrnehmung nicht nur als einmaliger Input dient, sondern zum integralen Bestandteil des Such- und Entscheidungszyklus wird. Dadurch soll das Modell in der Lage sein, auch komplexe, wissensintensive Probleme in offenen Umgebungen zu bewältigen – eine Fähigkeit, die statischen MLLMs bislang fehlt.

Die Grenzen statischer Modelle als Treiber der Innovation

DeepVoyager-VL reagiert auf eine grundlegende Limitation, die bereits in der Modellbeschreibung selbst benannt wird: Multimodale große Sprachmodelle besitzen statisches parametrisches Wissen, das ihre Fähigkeit einschränkt, wissensintensive und dynamisch veränderliche Probleme in offenen Umgebungen zu lösen. Diese Statik bedeutet, dass das Modell nur auf das zurückgreifen kann, was während des Trainings gelernt wurde – neue Informationen, die nach dem Training auftreten, oder kontextspezifische Details, die nicht im Korpus enthalten sind, bleiben unzugänglich. Für reale Anwendungen, in denen sich Umgebungen ständig wandeln und Aufgaben oft ein hohes Maß an aktuellem, visuell validiertem Wissen erfordern, ist dies ein entscheidender Nachteil.

DeepVoyager-VL zeigt einen konkreten Lösungsweg auf, indem es die Suche nach visueller Evidenz ins Zentrum stellt. Statt sich auf das einmal Gelernte zu verlassen, wird der Agent befähigt, seine Wissensbasis durch Interaktion mit der Umgebung kontinuierlich zu erweitern. Die Vision-in-the-Loop-Suche überwindet die statische Grenze, indem sie jeden Suchschritt als Gelegenheit nutzt, neues, externes Wissen in Form von Bildern oder Videodaten zu integrieren. Damit verkörpert das Modell einen Wandel von passiven Frage-Antwort-Systemen hin zu dynamischen, evidenzbasierten Agenten. Die Fähigkeit, über lange Zeithorizonte hinweg visuell gesteuerte Suchprozesse durchzuführen, könnte in Zukunft Anwendungen ermöglichen, bei denen statische Modelle versagen – etwa in der wissenschaftlichen Forschung, wenn ein Agent eigenständig Mikroskopbilder nach Anomalien durchsucht und seine Suchstrategie anpasst, oder bei der Erkundung unbekannter Umgebungen, wo jeder neue Blickwinkel das Verständnis der Umgebung schärft. DeepVoyager-VL ist damit ein Schritt in Richtung einer neuen Generation von KI-Agenten, die sich aktiv Wissen erschließen, anstatt nur auf Gespeichertes zurückzugreifen.