ME-World: Multi-Agenten-Weltmodell mit synchronisierten Ego-Perspektiven

ME-World: Multi-Agenten-Weltmodell mit synchronisierten Ego-Perspektiven

ME-World ist ein neues Multi-Agenten-Weltmodell, das synchronisierte Ego-Perspektiven mehrerer Agenten mit feingranularen, verkörperten Interaktionen in einer gemeinsamen Umgebung erzeugt. Die Arbeit stammt vom KAIST CVLab beziehungsweise KAIST AI. Anders als bisherige egocentrische Weltmodelle, die meist nur einen einzelnen Agenten betrachten, formuliert ME-World die Multi-Agenten-egozentrische Weltmodellierung als synchronisierte Ego-Stream-Generierung. Bestehende Multi-Agenten-Ansätze setzen dagegen auf grobe Aktionen wie Lokomotion, Kamerasteuerung oder diskrete Kommandos; feingranulare Interaktionen bleiben dort unterrepräsentiert. ME-World zielt darauf ab, mehrere Ego-Streams gemeinsam zu erzeugen und dabei Queransichts-Aktionskonsistenz, gemeinsame Umgebungskonsistenz und konsistente Fortschreibung interaktionsbedingter Zustandsänderungen zu gewährleisten. Das Modell wird auf realen und synthetischen Multi-Agenten-Daten trainiert und evaluiert.

Gemeinsames Denoising, Posen-Konditionierung und neue Konsistenzmetriken

Technisch setzt ME-World auf drei Neuerungen. Die Architektur denoist mehrere Ego-Streams gemeinsam in einer geteilten Token-Sequenz, konditioniert jeden Stream auf die Ziel-View-Posen aller Agenten und verankert die Generierung mit einem gemeinsamen Umgebungsgedächtnis. Durch das gemeinsame Denoising sollen die Perspektiven der Agenten konsistent bleiben; die Posen-Konditionierung sorgt dafür, dass jede Ego-Ansicht die Zielpositionen aller Beteiligten berücksichtigt. Das geteilte Umgebungsgedächtnis verankert die Generierung in einer gemeinsamen Welt. Für die Bewertung führt das Team neue Metriken für Shared-World-Konsistenz ein: Umgebungs-, Update- und Identitätskonsistenz (S_env, S_update, S_id). Die Metriken messen, ob die Umgebung konsistent bleibt, ob Zustandsänderungen korrekt fortgeschrieben werden und ob die Identität der Agenten erhalten bleibt. Laut Abstract zeigen Experimente, dass ME-World Shared-World-Konsistenz, Aktionskontrolle, Identitätserhalt und Videoqualität gegenüber bestehenden Methoden verbessert. Die Projektseite berichtet von 221-Frame-autoregressiven Sequenzen und einer Skalierung auf zwei oder drei Agenten ohne Modellanpassung. Training und Evaluation nutzen reale und synthetische Multi-Agenten-Daten, darunter den CoMind-Datensatz mit Zwei-Personen-Aufnahmen sowie synthetische Daten aus Inter-X- und InterHuman-Bewegungen.

Ressourcenlage: Projektseite vorhanden, Code unklar

Zur öffentlichen Verfügbarkeit gibt es widersprüchliche Angaben. Eine kuratierte Liste namens Awesome Interactive World Models markiert den ME-World-Eintrag mit ❌️, was bedeutet, dass keine öffentliche Implementierung oder Ressource gefunden wurde. Ein aiweekly-Artikel erwähnt dagegen eine Projektseite, die 221-Frame-autoregressive Sequenzen und die Skalierung auf zwei oder drei Agenten berichtet. Ob die Projektseite auch Code oder Modellgewichte bereitstellt, geht aus den vorliegenden Angaben nicht hervor. Eine abschließende Klärung ist derzeit nicht möglich. Die Ressourcenlage bleibt damit uneinheitlich.