AA-3D: Artificial Analysis lässt KI-Agenten interaktive 3D-Szenen bauen und per Blind-Voting bewerten

AA-3D: Agenten sollen drei Stunden lang interaktive 3D-Szenen bauen

Artificial Analysis hat den Benchmark AA-3D vorgestellt. Er trägt den Namen „Interactive 3D Experience Benchmark“ und umfasst ein Leaderboard mit dem Wert AA-3D Elo. Die Angaben stammen vom Anbieter selbst und gelten damit als Herstellerangaben.

Jedes Modell arbeitet in einer Offline-Sandbox. Es bekommt ein schriftliches Briefing für eine interaktive Szene und einen Lieferumfang, der bei allen Aufgaben gleich ist. Anschließend schreibt es Code, rendert die Szene und betrachtet die eigenen Screenshots. Auf dieser Grundlage überarbeitet es das Ergebnis. Der Agent muss seine Arbeit also visuell prüfen, statt nur Code abzuliefern.

Die Sandbox enthält Blender, die Physik-Engine Rapier, Python, einen Headless-Browser und eine Bibliothek mit CC0-Assets. Ein Lauf endet nach drei Stunden oder nach 250 Turns, je nachdem, was zuerst eintritt. Ergebnis ist eine index.html-Seite, die die Szene im Browser ausführt. Die einheitliche Abgabeform soll die Szenen untereinander vergleichbar machen.

Vollständige Szenen statt Text, Bild oder Image-to-3D-Asset

Neu ist vor allem die Aufgabenform. Das Verfahren der Arena (früher LMArena) schickt einen Nutzer-Prompt an zwei zufällig gewählte, anonymisierte Modelle. Die Stimme fließt in ein Bradley-Terry-artiges Rating ein. Die WebDev Arena überträgt dieses Prinzip auf Webentwicklung. Artificial Analysis betreibt eigene Arenen für Bilder, Videos und Sprachsynthese und weist dort 95-Prozent-Konfidenzintervalle aus. Mit GDPval-AA v2 gibt es außerdem einen agentischen Benchmark, dessen Elo aus Blind-Paarvergleichen entsteht.

Agentische Bewertung und Elo sind bei Artificial Analysis also nicht neu. AA-3D wendet beides auf Szenen an, die ein Agent selbst baut, rendert und überarbeitet. Damit unterscheidet sich der Benchmark auch von der 3D Arena, einer offenen Plattform für Image-to-3D-Modelle mit Paarvergleichen. Laut der zugehörigen arXiv-Veröffentlichung sammelte sie seit Juni 2024 123.243 Stimmen von 8.096 Nutzern zu 19 Modellen. Texturierte Modelle lagen dort 144,1 Elo vor untexturierten, Gaussian Splats 16,6 Elo vor Meshes. Bewertet wurde dort ein generiertes Asset, bei AA-3D dagegen eine lauffähige Szene.

Bei Zahlenvergleichen ist Vorsicht geboten. Arena hat sich am 28. Januar 2026 von LMArena umbenannt und ist unter arena.ai erreichbar. Artificial Analysis ist eine eigenständige Organisation und davon getrennt. Beide veröffentlichen Elo-Werte, die sich jedoch auf unterschiedliche Modellpools und Prompt-Verteilungen stützen. Elo-Zahlen der beiden Anbieter lassen sich deshalb nicht direkt gegenüberstellen. Ein AA-3D-Wert sagt ebenso wenig über die Position in der Arena aus.

Blind-Voting, Win Rate je Domäne und Kosten pro Aufgabe

Die Szenen werden im Blind-Voting verglichen. Als Beispiel nennt die Seite eine interaktive Gewichtheber-Figur, die Muskeln, Skelett und Organe in anatomisch korrekten Ansichten zeigt. Für diese Aufgabe liegen Szenen von allen 21 Modellen im Blind-Voting vor.

Daneben bietet die Seite mehrere Auswertungen: Elo gegen Kosten pro Aufgabe, Elo gegen den Intelligence Index, Win Rate je Domäne sowie Output-Tokens pro Aufgabe, Turns pro Szene und Tool-Calls pro Szene. Die Win Rate gibt den Anteil gewonnener Stimmen je Modell und Domäne an, auf Grundlage der Stimmen hinter dem aktuellen Leaderboard. Die Ansicht „opponent-balanced“ mittelt die Win Rates gegen jeden einzelnen Gegner. Jeder Gegner zählt damit gleich. Häufig gezogene Gegner verzerren so das Bild nicht.

Für Käufer und Entscheider liegt der Nutzen im Preis-Leistungs-Vergleich. Die Kosten- und Token-Ansichten stellen die Qualität der Szenen dem Aufwand gegenüber. Welche Modelle dabei gut oder schlecht abschneiden, geht aus dem vorliegenden Material nicht hervor.

Ohne Ranking-Zahlen bleibt offen, ob AA-3D Neues zeigt

Das vorliegende Material enthält keine Ranking-Zahlen, keine Elo-Abstände und keine Angaben zum Abstimmungsverfahren. Offen bleibt etwa, wer abstimmt und wie die Paarungen entstehen. Gewinner und Verlierer lassen sich deshalb nicht ableiten. Ob die Ergebnisse inhaltlich Neues zeigen, ist nicht zu beurteilen.

Artificial Analysis bezeichnet sich selbst als „Independent analysis of AI“. Für AA-3D ist diese Unabhängigkeit nicht belegt. Prüfbar wäre sie durch offengelegte Finanzierung, Kundenbeziehungen und Interessenkonflikte sowie durch eine unabhängige Replikation der Ergebnisse.

Als Vergleichsrahmen dient die Debatte um die Arena, ohne dass sich daraus etwas über AA-3D ableiten ließe. Dort wurde die Bewertungsmethodik kritisiert. Arena kündigte in einer Stellungnahme an, Scores als „provisional“ zu kennzeichnen, die Ausmusterung von Modellen transparenter zu machen und die Regel zu Pre-Release-Tests mehrerer Modellvarianten klarer zu fassen. Solche Zusagen wären auch für AA-3D der Maßstab, an dem sich das Verfahren messen lassen müsste.