Automatisierte Pipeline erzeugt 182 lauffähige GUI-Anwendungen

Automatisierte Pipeline erzeugt 182 lauffähige GUI-Anwendungen

SoftwareGym ist eine automatisierte Pipeline zur Synthese von GUI-Softwareumgebungen mit vielfältigen Interfaces, ausführbarer Funktionalität und zur Laufzeit verifiziertem Verhalten. Sie adressiert Einschränkungen nativer Anwendungsumgebungen, die hohen Konstruktions- und Integrationsaufwand erfordern, sowie browserbasierter Umgebungen mit begrenzter Interaktionstiefe und Workflow-Komplexität. Die Pipeline generiert strukturell diverse Designs, die unterschiedliche Layouts und Interaktionsmuster abdecken. Diese Designs werden in lauffähige Anwendungen umgesetzt, also als ausführbarer Code realisiert. Anschließend erfolgt eine GUI-Evaluation: Die Anwendungen werden mit Aufgaben getestet, die typische Nutzerinteraktionen nachbilden, und das Verhalten wird zur Laufzeit überprüft. Treten Fehler auf, greift eine iterative Reparaturschleife, die die Anwendung anpasst und erneut evaluiert, bis die funktionale Zuverlässigkeit sichergestellt ist. Durch diese Kombination aus Designgenerierung, Umsetzung und verifizierender Evaluation mit Reparatur erreicht die Pipeline eine mittlere GUI-Task-Erfolgsrate von 91,5 % über 182 Anwendungen in zwölf Kategorien. Die hohe Erfolgsrate resultiert aus der iterativen Fehlerbehebung, die sicherstellt, dass die Anwendungen ihre Aufgaben zuverlässig ausführen.

Training mit SoftwareGym steigert OSWorld-Pass@3 auf 56,97 Prozent

Aus den synthetisierten Umgebungen wurde SoftwareGym-Bench konstruiert, eine Evaluationssuite mit 120 Aufgaben, die dieselben zwölf Kategorien abdeckt. Für das Training von Computer-Use-Agents (CUAs) wurden Trajektorien aus diesen Umgebungen gesammelt. Diese Trajektorien bestehen aus Interaktionsabläufen, die zeigen, wie Aufgaben in den GUI-Umgebungen gelöst werden. Das resultierende Modell verbessert Pass@3 auf dem strikt out-of-domain OSWorld-Benchmark von 41,39 % auf 56,97 %. Da OSWorld nicht aus den SoftwareGym-Umgebungen stammt, misst diese Steigerung den Transfer auf unbekannte Anwendungsumgebungen. Auf SoftwareGym-Bench erreicht das Modell 40,0 %. Die Autoren sehen darin das Potenzial synthetisierter Softwareumgebungen als skalierbare und übertragbare Supervision für das CUA-Training. Die Skalierbarkeit ergibt sich aus der automatisierten Pipeline, die viele Umgebungen erzeugen kann, ohne manuelle Konstruktion. Die Übertragbarkeit zeigt sich in der deutlichen Verbesserung auf OSWorld, da das Modell durch die Vielfalt der synthetisierten Umgebungen generalisiert. Die gesammelten Trajektorien versorgen das Modell mit verifizierten Interaktionsabläufen; dadurch lernt der Agent, GUI-Aufgaben nicht nur in bekannten, sondern auch in neuen Umgebungen zu lösen. Die Kombination aus automatisch erzeugten Umgebungen und verifizierten Aufgaben erlaubt es, Trainingsdaten in größerem Umfang zu gewinnen, ohne auf wenige manuell erstellte Benchmarks angewiesen zu sein.