KI SpotlightNewsOpenMobile-2: Größeres offenes Smartphone-Agenten-Modell erreicht 59,6 Punkte auf SPA-Bench
Nanjing University und SenseTime veröffentlichen zwei Modelle samt Übungsumgebung, Trainingsdaten und Nachbau-Anleitung. Ob offene Modelle mit proprietären rivalisieren, belegt das Material nicht.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- OpenMobile-2 ist ein Smartphone-Agent mit 35 realistischen Apps, insgesamt über 110 Apps.
- Die Autoren kuratieren knapp 12K Interaktions-Trajektorien für überwachtes Fine-Tuning und über 2K ausführbare Aufgaben mit automatischer Belohnung.
- Auf AndroidWorld erreicht OpenMobile-2 laut Abstract 79,9 Punkte.
- Veröffentlicht werden Modelle mit 9 bzw. 27 Mrd. Parametern, basierend auf Qwen3.5 bzw. Qwen3.6.
- Mit mehr Trainings-Apps, bei gleicher Datenmenge, stieg die Erfolgsquote auf unbekannten Apps von 60,7 auf 67,5 Prozent.
Zwei offene Smartphone-Agenten: 59,6 Punkte auf SPA-Bench
Ein Team der Nanjing University und von SenseTime, unterstützt von weiteren Hochschulen, hat OpenMobile-2 veröffentlicht. Das Paket enthält zwei Agentenmodelle auf Basis von Qwen3.5 mit 9 Milliarden und Qwen3.6 mit 27 Milliarden Parametern. Hinzu kommen eine Übungsumgebung, Trainingsdaten und eine Anleitung zum Nachbau.
Das größere Modell erreicht auf SPA-Bench 59,6 Punkte. Nach Angaben der Autoren und laut Berichterstattung des Decoders ist das der höchste Wert unter offenen Modellen. Auf AndroidWorld gibt das Abstract 79,9 Punkte an. Der Wert für MobileWorld ist im vorliegenden Auszug abgeschnitten und bleibt hier daher offen.
SPA-Bench wurde als ICLR-2025-Spotlight angenommen. Der Benchmark prüft Smartphone-Agenten mit Aufgaben zu System- und Drittanbieter-Apps, auf Englisch und Chinesisch. Ein Plug-and-play-Framework bindet über zehn Agenten ein.
MobileGym++: 35 nachgebaute Apps, insgesamt über 110
Kern des Pakets ist MobileGym++. Es enthält 35 nachgebaute Apps im Stil kommerzieller Anwendungen, die sich zurücksetzen und überprüfen lassen. Zusammen mit weiteren, in Android-Emulatoren konfigurierten Apps kommt das Team auf über 110. Der Decoder fasst alle als „simuliert“ zusammen. Das Paper nennt im vorliegenden Auszug keine Aufteilung der übrigen Apps.
Hinzu kommen knapp 12K Trajektorien für überwachtes Fine-Tuning sowie über 2K ausführbare Aufgaben mit automatischer Belohnung für Reinforcement Learning. Nach Aussage der Autoren ist das die größte offene Sammlung dieser Art. Außerdem prüfen sie einen experimentellen Hybridmodus: Apps bieten ausgewählte Funktionen dann als app-native Tools neben der Bedienoberfläche an. Mit MobileGym++ Bench führen sie zudem einen eigenen Benchmark ein.
Der Vorgänger OpenMobile kam mit Qwen3-VL auf 64,7 Prozent in AndroidWorld, der Nachfolger auf 79,9. Wie viel davon auf Daten, Training oder die neuen Basismodelle entfällt, lässt sich dem Material nicht entnehmen.
Vielfalt vor Menge: 60,7 auf 67,5 Prozent, aber ohne Vergleich mit proprietären Modellen
Der Kernbefund der Autoren: Bei gleicher Datenmenge steigt die Erfolgsquote auf unbekannten Apps von 60,7 auf 67,5 Prozent, sobald an mehr verschiedenen Apps trainiert wird. Die Zahl stammt von den Autoren und wird vom Decoder wiedergegeben. Eine unabhängige Prüfung liegt nicht vor.
Die Schlagzeile, offene Modelle könnten mit proprietären „rivalisieren“, ist nicht belegt. Das Material enthält keinen Vergleich mit proprietären Modellen auf SPA-Bench. „Near-frontier“ und „competitively“ sind Selbstbeschreibungen der Autoren. Zudem hängen Benchmark-Werte generell von den bewertenden LLM-Richtern ab, wie MobileJudgeBench zeigt. Das betrifft die Methodik insgesamt, nicht allein OpenMobile-2.
Zur Prüfung fehlen Vergleichstabellen mit identischem Setup und eine unabhängige Nachmessung. Auch die genaue Zahl der SPA-Bench-Aufgaben und Apps ist offen, weil sich die Quellen widersprechen.
