ENEAS: Text-promptbare Instanzverfolgung mit Verifikationsschicht gegen visuelle Ablenkungen

Text-promptbare Instanzverfolgung: ENEAS vorgestellt

ENEAS ist eine einheitliche, text-promptbare Methode für Instanzverfolgung und offene semantische Entdeckung. Sie nutzt ein embedding-gesteuertes neuronales Ensemble mit temporärer Speichererweiterung und einer Verifikationsschicht, um drei zentrale Probleme text-promptbarer Segmentierungsmodelle zu beheben: zeitliche Halluzinationen, räumliche Fragmentierung und semantische Fehlklassifikation. Diese treten etwa bei SAM 3 auf: Das Modell meldet nicht, wenn ein Ziel das Sichtfeld verlässt, segmentiert bei extremer Nahaufnahme nur lokale Texturen statt des gesamten Objekts und priorisiert visuelle Merkmale gegenüber der ontologischen Realität, sodass visuell ähnliche Artefakte wie Statuen, Gemälde oder Reflexionen fälschlich als Ziel segmentiert werden.

Das embedding-gesteuerte Ensemble nutzt gelernte Einbettungen, um visuelle Merkmale von Instanzen zu repräsentieren und über Frames hinweg zu vergleichen. Die temporäre Speichererweiterung hält die Zielrepräsentation auch dann fest, wenn das Objekt das Sichtfeld verlässt, sodass ENEAS bei Wiederauftauchen dieselbe Instanz wiedererkennt, statt auf ähnliche Ablenkungen zu wechseln. Bei extremer Nahaufnahme, wo nur lokale Texturen sichtbar sind, rekonstruiert der Speicher die vollständige Objektausdehnung aus früheren Frames und verhindert so räumliche Fragmentierung. Die Verifikationsschicht reduziert semantische Fehlklassifikation, indem sie Kandidaten zunächst über visuelles Embedding-Matching filtert und dann durch ein konditionales VLM semantisch prüft, sodass visuell ähnliche Artefakte wie Statuen, Gemälde oder Reflexionen ausgeschlossen werden.

ENEAS arbeitet auf zwei Weisen aus einer einzigen Methode: präzises Tracking und hochwertige Segmentierung einer einzelnen Instanz sowie offene Entdeckung aller Instanzen, die eine Textanfrage benennt. Für das Tracking erweitert ENEAS die geometrisch robuste SeC-Architektur, die zuvor auf Punktinteraktionen beschränkt war, um einen Text-Prompting-Adapter und nutzt deren temporären Speicher. Dadurch wird das Ziel über ein Verschwinden hinweg gehalten, ohne zu Ablenkungen abzudriften, und bleibt auch bei extremer Nahaufnahme als Ganzes erhalten.

Von SeC zu ENEAS: Text-Prompting-Adapter und Verifikationsschicht

ENEAS erweitert die zuvor auf Punktinteraktionen beschränkte SeC-Architektur um einen Text-Prompting-Adapter, sodass natürliche Sprache als Eingabe dient. Der temporäre Speicher von SeC wird in ENEAS genutzt, um eine Repräsentation des Ziels über die Zeit zu bewahren. Wenn das Ziel das Sichtfeld verlässt, bleibt diese Repräsentation erhalten; bei Wiederauftauchen wird das Objekt anhand der gespeicherten Merkmale wiedererkannt und als dieselbe Instanz weiterverfolgt, statt zu einem ähnlichen Ablenkungsobjekt zu wechseln. Zusätzlich hilft der Speicher, bei extremer Nahaufnahme die vollständige Objektausdehnung beizubehalten, indem Informationen aus früheren Frames einfließen.

Für die semantische Entdeckung führt ENEAS eine Verifikationsschicht ein, die schnelles visuelles Embedding-Matching mit konditionaler VLM-Verfeinerung kombiniert. Das Embedding-Matching vergleicht die visuellen Einbettungen der segmentierten Kandidaten mit der Einbettung des angefragten Ziels und filtert so schnell alle Segmente heraus, die zu unähnlich sind. Für die verbleibenden Kandidaten wird ein konditionales Vision-Language-Model aufgerufen, das anhand des Text-Prompts prüft, ob es sich tatsächlich um eine Instanz der benannten Kategorie handelt oder um einen visuellen Doppelgänger wie eine Statue, ein Gemälde oder eine Reflexion. Diese zweistufige Prüfung entfernt Ablenkungen effizient und verhindert, dass sie fälschlich als Zielinstanzen segmentiert werden.

SA-V-Evaluation und Autorenteam von Speridlabs

Die Autoren von ENEAS sind Javier del Pino, Salvador Rodríguez, Alejandro Garabito, Javier Álvarez und Chema Garabito von Speridlabs. ENEAS wurde auf einer breiten SA-V-Testauswahl aus SA-Co/VEval evaluiert, aufgeteilt nach Prompts, die sich auf ein spezifisches Objekt beziehen. Weitere Details zur Evaluation oder zu den Ergebnissen werden in der Meldung nicht genannt.