VLA-Modelle scheitern bei der Rekombination von Fertigkeiten: 40,0 Prozent Erfolg sinken auf 7,7 Prozent

Rekombination bricht von 40,0 auf 7,7 Prozent ein

Vision-Language-Action-Modelle (VLA) beherrschen einzelne Fertigkeiten. Neue Kombinationen daraus gelingen ihnen jedoch schlecht, sofern es dafür keine passenden Trainingsdemonstrationen gab. So berichtet es das Paper „Exploring the Limits of Combinatorial Generalization in Embodied Manipulation“, veröffentlicht auf Hugging Face. Die Autoren prüfen in einer kontrollierten Studie, ob solche Modelle Fertigkeiten rekombinieren können, für die keine kombinierten Demonstrationen existierten.

Laut den Autoren erreicht ein Training mit vollständigen Instruktionen auf begrenzten Fertigkeitssequenzen 40,0 Prozent geordneten Erfolg bei abgedeckten Kombinationen. Bei Rekombination sinkt dieser Wert auf 7,7 Prozent. Die Autoren lesen die Lücke als Hinweis auf auswendig gelernte Sequenzvorlagen statt auf robuste Rekombination. Der Abstract formuliert das selbst vorsichtig („suggesting“). Eine Beweisführung ist das nicht.

HSE, RoboCombine und die Start-State-Gap

Das Paper nennt drei Beiträge. Der erste ist Hierarchical Subtask Execution (HSE), ein Diagnoseframework. Es legt eine gemeinsame modulare Schnittstelle über Planner, Trigger und Policy und zerlegt Fehler bei Langhorizont-Aufgaben in trennbare Modi. Damit lässt sich nachvollziehen, an welcher Stelle eine lange Aufgabenkette bricht.

Der zweite ist der Benchmark RoboCombine. Er misst Fertigkeitsrekombination ohne kombinierte Trainingstrajektorien. Dazu nutzt er Metriken für geordneten Erfolg und für die Übergangskonversion über Subtask-Grenzen hinweg. Die Autoren zeigen laut eigener Darstellung, dass atomare Kompetenz allein keine geordnete Ausführung garantiert. Fehler häufen sich an den Übergängen. Folge-Subtasks starten dort aus Übergabezuständen, die der vorherige Subtask hinterlässt, nicht aus den kanonischen Startzuständen, auf die die einzelnen Fertigkeiten trainiert wurden. Diese Diskrepanz nennen die Autoren „start state gap“.

Der dritte Beitrag ist Pose Robust Task Initialization (PRTI). Die Autoren beschreiben es als leichtgewichtige Post-Training-Strategie für atomare Aufgaben, die die Abdeckung der Startzustände verbreitern soll. Der vorliegende Abstract bricht an dieser Stelle ab. Ergebnisse zu PRTI liegen im Material nicht vor. Ob die Maßnahme die Lücke schließt und wie weit, lässt sich deshalb nicht beurteilen.

Ähnliche Kompositionsschwächen in anderen Arbeiten

Dass VLA-Modelle bei Rekombination und Komposition scheitern, ist kein neuer Befund. VLA-Arena nennt eine starke Neigung zum Auswendiglernen und die Unfähigkeit, gelernte Fertigkeiten für Langhorizont-Aufgaben zu komponieren. AC-VLA beschreibt Trajektorien-Overfitting, wenn bekannte Subtasks neu zusammengesetzt werden. Eine Robustheitsanalyse berichtet Einbrüche von 95 Prozent auf unter 30 Prozent, etwa bei geänderter Kameraperspektive oder anderem Roboter-Anfangszustand.

Neu ist laut Material vor allem die Zerlegung in getrennte Fehlermodi. Ob das Paper ältere Befunde inhaltlich übertrifft, lässt sich dem Abstract allein nicht entnehmen. Dafür braucht es den Volltext und unabhängige Replikationen, ebenso um die Deutung als Auswendiglernen zu prüfen.