KI SpotlightNewsSprachmodelle steuern Roboterarm: Artificial Analysis startet AA-Robotics v0.1
GPT-6 Astra liegt laut Quelle vorn. Nach Angaben des Anbieters sind die Modelle für den Produktionseinsatz noch zu langsam und zu teuer. Methodik, Aufgaben und Punktwerte liegen nicht vor.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- Getestet werden Sprachmodelle in Coding-Agent-Harnesses, die den Roboterarm direkt steuern. Artificial Analysis bezeichnet dies als das einfachste von ihnen entworfene Experiment.
- GPT-6 Astra belegt in AA-Robotics v0.1 den ersten Platz (der Punktwert ist im vorliegenden Text abgeschnitten).
Sprachmodelle steuern Roboterarm: Artificial Analysis startet AA-Robotics v0.1
Artificial Analysis hat AA-Robotics v0.1 als Research Preview gestartet. Der Benchmark prüft, wie gut Frontier-Sprachmodelle die physische Welt verstehen, darin planen und handeln. Jedes Modell steuert einen 6-Achs-Roboterarm mit fünf Gelenken und einem Greifer. Pro Aufgabe gibt es ein einfaches Ziel. Ergebnisse zu den ersten acht Aufgaben sind veröffentlicht.
Getestet werden allgemeine Sprachmodelle in Coding-Agent-Harnesses, die den Arm direkt ansteuern. Robotik-spezifische VLA-Modelle (Vision-Language-Action) sind nicht Teil des Tests. Artificial Analysis nennt den Aufbau das einfachste Experiment, das das Unternehmen dafür entworfen hat. Laut Quelle belegt GPT-6 Astra den ersten Platz. Der zugehörige Punktwert ist im vorliegenden Material abgeschnitten und fehlt deshalb hier.
Offen bleibt, wie gemessen wurde. Ob in der Simulation oder auf echter Hardware, welche Metrik gilt und um welche acht Aufgaben es sich handelt, geht aus dem Material nicht hervor. Weitere Zahlen liegen nicht vor.
Nach Herstellerangabe fast zwei Größenordnungen hinter dem Menschen
Artificial Analysis zufolge können Frontier-Sprachmodelle in Coding-Agent-Harnesses Roboterarme bei einfachen Aufgaben inzwischen direkt bedienen. Für den Produktionseinsatz seien sie jedoch zu langsam und zu teuer, laut Quelle fast zwei Größenordnungen schlechter als menschliche Baselines. Das ist eine Aussage des Anbieters über den eigenen Benchmark. Die zugrunde liegenden Werte sind nicht einsehbar.
Das Unternehmen erwartet außerdem, dass sich die Lücke bei Geschwindigkeit und Kosten schnell schließt. Starke Generalisten-Agenten seien die wahrscheinliche Zukunft der Robotik. Seit Anfang 2026 hätten Frontier-Sprachmodelle große Fortschritte bei der Steuerung von Roboterarmen gemacht. Auch diese Aussagen stammen vom Anbieter.
Prüfbar werden sie erst durch spätere Versionen des Benchmarks, den Vergleich von Zeit- und Kostenwerten über mehrere Modellgenerationen oder unabhängige Messungen.
Eigene Plattform, etablierte Benchmarks, unabhängige Evaluatoren
Artificial Analysis betreibt eine eigene Benchmark-Plattform mit proprietären Evaluationsdatensätzen. Die Methodik ist öffentlich dokumentiert. Der Agent-Harness Stirrup steht unter MIT-Lizenz und deckt zwei der zehn Evaluationen des Intelligence Index ab. Die Index-Pipeline und die Datensätze sind nicht veröffentlicht. Daneben existieren weitere Agentic-Benchmarks, etwa AA-AnalystAgent, der nicht zum Intelligence Index gehört.
Im Bereich Robotik gibt es etablierte Embodied-Benchmarks für VLA-Modelle: LIBERO, SimplerEnv, RoboTwin 2.0, RoboCasa-GR1 und BEHAVIOR-1K. Sie decken Simulation und reale Roboter ab.
Auch robocurve.org mit RoboDojo-RC Tier 1 testet LLMs auf Robotern. Der Evaluator versteht sich als unabhängig. Er trägt den Score gegen Kosten, Zeit und Release-Datum auf und stellt das Open-Source-Tool Inspect Robots bereit. Ein Ergebnisvergleich mit AA-Robotics ist mangels Zahlen nicht möglich.
