CUA-Master: Computer-Use-Agent soll aus Lehrvideos lernen und laut Autoren Spitzenwerte erreichen

CUA-Master gewinnt Trainingsdaten aus Lehrvideos statt aus dem eigenen Modell

Ein Team der MMLab CUHK, Tsinghua, HKUST(GZ) und JD Explore Academy stellt CUA-Master vor. Das Framework erzeugt Trainingsdaten für Computer-Use-Agenten aus Lehrvideos. Es besteht aus zwei ineinander verschachtelten rekursiven Schleifen. Die äußere, ein „World-Data-Model-Flywheel“, nimmt einen Korpus aus offenen Quellen auf. Erkannte Schwächen des Modells steuern die nächste Runde aus Datenerstellung und Optimierung.

Die innere Schleife koppelt zwei Schritte. Beim Seeding löst das System aus den Videos echte Arbeitsabläufe als Ausgangsaufgaben heraus und rekonstruiert die Trajektorien. Bei der Propagation entstehen daraus wiederverwendbare Primitive, aus denen sich komplexe, aber überprüfbare Aufgaben kontrolliert zusammensetzen lassen. Die Trajektorien sammelt das System in echten Umgebungen. Scheitert ein Durchlauf, wiederholt ein Snapshot-Rollback ihn, gesteuert durch Feedback.

Laut Abstract begrenzen bisherige rekursive Verfahren die Fähigkeiten, weil sie sich auf selbst erzeugte Erfahrungen stützen, und die Erträge sinken. Externe Videodaten sollen diese Grenze umgehen. Das ist eine Behauptung der Hersteller. Das Datenschwungrad als Konzept ist nicht neu. UI-TARS-2 beschreibt bereits ein Data Flywheel samt Multi-Turn-Reinforcement-Learning. Wie stark sich CUA-Master davon abhebt, ist unabhängig nicht geprüft.

CUA-Master-27B: 80.2 auf OSWorld Verified nach Angaben der Autoren

Das aus dem Framework trainierte Modell CUA-Master-27B erreicht laut Autoren 80.2 auf OSWorld Verified, 36.9 auf OSWorld 2.0, 43.9 auf WeaveBench und 25.0 auf Agents' Last Exam. Auf Agents' Last Exam läge es unter den ausgewerteten Vergleichsmodellen nur hinter GPT-5.6-Sol und Claude-Opus-5. Gegenüber UI-Mate-27B nennen die Autoren Zugewinne von 2.6, 12.9, 25.6 und 11.8 Punkten über die vier Benchmarks.

Diese Zahlen sind Selbstauskunft und stammen aus einer Zusammenfassung der Veröffentlichung. Das im Material abgeschnittene Abstract nennt sie nicht. Prüfbar wären sie über die Auswahl der Vergleichsmodelle, die Evaluationsbedingungen im Paper und durch Nachrechnen mit den veröffentlichten Gewichten.

Das Modell basiert auf Qwen-3.5-27B. Drei SFT-Iterationen mit 63K, 38K und 14K Aufgaben ergeben zusammen rund 115K. Danach folgt eine RL-Stufe mit etwa 12K hochwertigen Aufgaben. Die Seed-Videos stammen von YouTube, TikTok und Bilibili. Trainiert wurde auf 16 Knoten mit je 8 NVIDIA H200 (141 GB).

Code und Gewichte sind öffentlich, ein Datensatz fehlt

Das offizielle Repository (xlyu0106/CUA-Master) enthält Code für Seeding, Propagation, Trajektoriensammlung und SFT-Datenaufbereitung. Die Pipeline sucht Videos über taxonomiegesteuerte Suchanfragen in 8 Domänen, 36 Subdomänen und über 650 Apps. Anschließend dedupliziert und filtert sie die Treffer. Ein Annotator-Modell bewertet nach der Audiotranskription, ob ein Video für Computer-Use-Aufgaben taugt.

Die Rekonstruktion verschneidet Transkript-Trigger mit Frame-Change-Triggern zu einem „boundary lattice“. Die Aufgabensynthese steuert die Komplexität über K Primitive und N Anwendungen. Die Sandbox ist als austauschbare Provider-Schnittstelle angebunden, eigene VM-Backends lassen sich also einhängen. Das Modell ist auf Hugging Face verlinkt. Ein veröffentlichter Datensatz ist im Material nicht belegt.

Profitieren dürften Entwickler offener Agenten, die das Verfahren nachbauen wollen, und Evaluierer, die proprietäre Produkte mit dem offenen Modell vergleichen. Eine unabhängige Replikation steht noch aus.