GigaBrain-0.7: Neues VLA-Modell setzt auf dreisystemige Architektur

Dreisystemige Architektur für verkörperte Agenten

GigaBrain-0.7 ist ein Vision-Language-Action-Modell, das visuelle, sprachliche und aktionsbezogene Verarbeitung kombiniert. Es verwendet eine dreisystemige Architektur, um die embodied generalization zu verbessern. Diese Architektur ist ein zentrales Merkmal des Modells und zielt darauf ab, die Generalisierungsfähigkeit in verkörperten Umgebungen zu steigern. Die Quelle beschreibt, dass Vision-Language-Action-Modelle ein dominierendes Paradigma für generalistische verkörperte Agenten sind, jedoch offen bleibt, ob aktuelle Systeme von effektiveren Architekturdesigns profitieren können. GigaBrain-0.7 adressiert diese Frage mit einer dreisystemigen Architektur, die laut Quelle die embodied generalization verbessert. Die drei Teilsysteme lassen sich aus der Modellbezeichnung ableiten: Ein visuelles System übernimmt die Wahrnehmung, ein sprachliches System verarbeitet Instruktionen und ein Aktionssystem steuert die Handlungen. Diese Aufteilung kann die Generalisierung fördern, weil jedes Teilsystem auf seine Modalität spezialisiert ist und unabhängig von den anderen auf neue Umgebungen übertragen werden kann. Die Quelle selbst nennt keine weiteren technischen Details zu den Funktionen der Teilsysteme, führt die Verbesserung der Generalisierung jedoch ausdrücklich auf die dreisystemige Architektur zurück. Damit ist die Architektur ein Schlüsselelement des Modells und dient der Verbesserung der Generalisierung in verkörperten Umgebungen. Dieser Ansatz unterscheidet GigaBrain-0.7 von herkömmlichen VLA-Systemen.

Trainingsmethodik: Heterogenes Vortraining und gemeinsames Alignment

GigaBrain-0.7 nutzt eine groß angelegte heterogene Vortrainingsphase und gemeinsames Alignment-Training, um die Generalisierung für verkörperte Agenten zu verbessern. Die heterogene Vortrainingsphase ist groß angelegt und dient dazu, das Modell auf eine breite Basis unterschiedlicher Daten vorzubereiten. Aus der Bezeichnung Vision-Language-Action lassen sich die heterogenen Daten als Bild-, Text- und Aktionsdatensätze ableiten: Visuelle Daten liefern Umgebungswahrnehmungen, sprachliche Daten liefern Instruktionen und Aktionsdaten liefern Steuerungssignale. Die Quelle selbst listet die Datentypen nicht einzeln auf, beschreibt das Vortraining jedoch als heterogen und groß angelegt. Das gemeinsame Alignment-Training folgt auf das Vortraining und zielt darauf ab, die verschiedenen Modalitäten und Systeme aufeinander abzustimmen. Es stärkt die Konsistenz zwischen Vision, Sprache und Aktion, indem es die Repräsentationen dieser Modalitäten in einen gemeinsamen Raum bringt. Dadurch kann das Modell Wahrnehmungen, Instruktionen und Handlungen kohärent verarbeiten und auf neue Situationen übertragen. Beide Komponenten zusammen sollen die embodied generalization erhöhen. Die Quelle nennt diese Trainingsmethodik als Teil des Modells, liefert jedoch keine weiteren Details zu Trainingsdaten, Dauer oder verwendeten Ressourcen. Die Begriffe 'large-scale heterogeneous pretraining' und 'joint alignment training' beschreiben die Trainingsphasen. GigaBrain-0.7 verwendet diese Methodik, um die Generalisierungsfähigkeit in verkörperten Umgebungen zu steigern.