Artificial Analysis veröffentlicht Intelligence Index v4.3 mit AutomationBench-AA

Artificial Analysis veröffentlicht Intelligence Index v4.3

Artificial Analysis hat den Intelligence Index v4.3 veröffentlicht. Die Aktualisierung umfasst zwei wesentliche Änderungen: Terminal-Bench wird von Version 2.1 auf Version 4 angehoben, und der bisherige Benchmark τ³-Banking wird durch AutomationBench-AA ersetzt. AutomationBench-AA ist ein agentischer Workflow-Automatisierungs-Benchmark, der in Zusammenarbeit mit Zapier entstand und einen privaten Test-Set nutzt. Damit setzt Artificial Analysis nach eigenen Angaben die schrittweise Einführung des Intelligence Index v5 fort. Der Index bewertet Sprachmodelle anhand mehrerer Evaluierungen, die Fähigkeiten in Bereichen wie Reasoning, Wissen, Mathematik und Programmierung messen; die Punktzahl ist ein gewichteter Durchschnitt aus diesen Einzelwerten. Die Spitzenplätze belegen Claude Fable 5.1 und GPT-6 Astra mit jeweils 53 Punkten. Für die Modellwahl bedeutet das: Der Gesamtscore gibt eine Orientierung über die allgemeine Leistungsfähigkeit, ersetzt aber keine anwendungsspezifische Prüfung, da einzelne Modelle in bestimmten Kategorien wie Coding oder Scientific Reasoning deutlich stärker oder schwächer abschneiden können. Gegenüber den Vorversionen v4.2 und v4.1 wurden Terminal-Bench aktualisiert und τ³-Banking ersetzt. Die Kategoriegewichte bleiben unverändert. Der Changelog verzeichnet die Änderungen unter dem 7. September.

Terminal-Bench springt von v2.1 auf v4, τ³-Banking fliegt raus

Die konkreten Änderungen: Terminal-Bench wurde von Version 2.1 auf Version 4 aktualisiert. Der Benchmark umfasst nach Angaben von Artificial Analysis 66 mehrstufige Aufgaben, die Agenten in Sandbox-Umgebungen über das Terminal ausführen, darunter Softwareentwicklung, maschinelles Lernen, Wissenschaft und Betrieb. Das Upgrade von v2.1 auf v4 ist relevant, weil die neuere Version realistischere Szenarien abbildet und die Aufgaben so gestaltet sind, dass Modelle sie nicht durch Auswendiglernen öffentlicher Lösungen bestehen können – das reduziert Overfitting und macht die Ergebnisse robuster. Gleichzeitig wurde τ³-Banking durch AutomationBench-AA ersetzt, die Artificial-Analysis-Implementierung von Zapiers Geschäftsworkflow-Automatisierungs-Benchmark. Da AutomationBench-AA einen gehaltenen Test-Set verwendet, steigt der Anteil der Evaluationen mit privaten Aufgaben oder Antworten im Index von 40 auf 45 Prozent. Diese Erhöhung ist bedeutsam, weil private Test-Sets verhindern, dass Modelle auf öffentliche Benchmarks trainiert werden, und die Sättigung reduzieren – ein bekanntes Problem, wenn Spitzenmodelle bei öffentlichen Tests nahe der Maximalpunktzahl liegen. Die Kategoriegewichte bleiben unverändert: Agents 30 Prozent, Coding 20 Prozent, General 30 Prozent, Scientific Reasoning 20 Prozent. Mit diesen Schritten will Artificial Analysis die Schwierigkeit agentischer Coding-Aufgaben erhöhen und die getesteten agentischen Workflows verbreitern.

AutomationBench-AA: Privater Test-Set aus Zapiers Milliarden-Tasks

AutomationBench-AA basiert auf Zapiers AutomationBench. Der Benchmark umfasst nach Angaben von Zapier mehr als 600 gehaltene Evaluierungsaufgaben aus sechs Geschäftsdomänen: Sales, Marketing, Operations, Support, Finance und HR. Die Umgebung simuliert 47 Apps und etwa 500 API-Endpunkte. Jede Aufgabe startet eine kleine simulierte Firma mit CRM-Datensätzen, E-Mail-Verläufen, Tabellen und Support-Fällen. Der Agent erhält eine Anfrage, wie sie ein realer Operations-Mitarbeiter bekommen würde, und muss selbstständig Endpunkte entdecken, Geschäftsregeln befolgen und Daten korrekt über mehrere Systeme schreiben. Die held-out-Aufgaben sind ein zentraler Vorteil gegenüber vielen anderen Benchmarks: Da die Testdaten nicht öffentlich sind, können Modelle nicht gezielt darauf trainiert werden, was die Aussagekraft der Ergebnisse deutlich erhöht. Die Bewertung erfolgt ausschließlich über den deterministischen Endzustand der Umgebung: Entweder die richtigen Daten sind in den richtigen Systemen gelandet oder nicht. Es gibt kein LLM-as-Judge. Das ist relevant, weil LLM-basierte Bewertungen eigene Verzerrungen wie eine Präferenz für längere oder besser formatierte Antworten einführen können; die deterministische Prüfung des Endzustands misst dagegen nur, ob die Aufgabe tatsächlich korrekt ausgeführt wurde. Zapier hat AutomationBench nach eigenen Angaben auf Basis echter Workflow-Muster aus über zwei Milliarden monatlichen Tasks von 3,7 Millionen Unternehmen entwickelt.

Claude Fable 5.1 und GPT-6 Astra teilen sich Platz 1

Im Intelligence Index v4.3 führen Claude Fable 5.1 (max mit Fallback) und GPT-6 Astra (max) mit einem Score von 53. Dahinter folgen Claude Opus 5 (max) mit 51, Claude Fable 5 (mit Fallback) mit 50, Muse Spark 1.3 (max) mit 48 und GPT-5.6 Sol (max) mit 47. Bei den Open-Weight-Modellen liegt GLM-5.3 Flash mit 42 Punkten vorn, gefolgt von Qwen3.8 2.4T A95B mit 40 und DeepSeek V4 Pro 0813 (max) mit 36. Die Angaben stammen aus der Ankündigung von Artificial Analysis zum Index v4.3. Die Konfigurationen in Klammern bezeichnen die getesteten Reasoning-Efforts und Fallback-Einstellungen. Die hohen Scores der Spitzenreiter lassen sich vor allem auf starke Agentic-Reasoning-Fähigkeiten und Tool-Use zurückführen: Modelle wie Claude Fable 5.1 und GPT-6 Astra sind darauf optimiert, mehrstufige Aufgaben über mehrere Anwendungen hinweg zu planen und auszuführen, was durch die Aufnahme von AutomationBench-AA und die aktualisierte Terminal-Bench-Version stärker gewichtet wird. Anwender, die komplexe Workflows automatisieren wollen, profitieren daher besonders von diesen Modellen. Damit bleibt die Spitze von proprietären Modellen besetzt; das beste Open-Weight-Modell liegt neun Punkte hinter den Führenden.

OpenAI besetzt die Kosten-Effizienz-Frontier

Im Diagramm Intelligence versus Cost per Task besetzt OpenAI die Mehrheit der Kosten-Effizienz-Frontier. GPT-6 Astra bietet nach Angaben von Artificial Analysis in allen fünf Reasoning-Efforts die niedrigsten Kosten pro Task bei dem jeweiligen Intelligenzniveau. Die Frontier wird vervollständigt durch MiMo-V2.5-Pro mit einem Score von 26, GLM-5.3-Flash mit 42 und Claude Fable 5.1 (xhigh, max) mit 53. Dass OpenAI die Frontier dominiert, liegt laut Artificial Analysis an der Kombination aus Modellgröße, Optimierungen und Infrastruktur: GPT-6 Astra erreicht trotz hoher Intelligenzwerte niedrige Kosten pro Task, was auf effiziente Inferenz und skalierte Hardware zurückzuführen ist. Für die Praxis bedeutet das: Für Modelle entlang dieser Linie gibt es kein anderes getestetes Modell, das bei gleichem Intelligenzniveau günstiger wäre. Anwender, die Kosten und Leistung gegeneinander abwägen, können sich an dieser Frontier orientieren, um das wirtschaftlichste Modell für ihr Anforderungsniveau zu wählen. Die Frontier zeigt zugleich, dass Kosteneffizienz nicht nur bei kleinen Modellen zu finden ist, sondern auch bei leistungsstarken Systemen wie GPT-6 Astra.

Widersprüche: Wer führt wirklich, und was schafft AutomationBench?

Zwei Widersprüche sind dokumentiert. Erstens: In der Ankündigung zum Index v4.3 führen Claude Fable 5.1 und GPT-6 Astra mit 53 Punkten. Auf einer anderen Seite von Artificial Analysis wird jedoch Claude Opus 5 (Adaptive Reasoning, Max Effort) als führendes Modell mit einem Score von 61 ausgewiesen, aus 170 evaluierten Modellen. Die Angaben stammen von derselben Quelle, aber zu unterschiedlichen Zeitpunkten oder für unterschiedliche Index-Versionen. Die Ankündigung bezieht sich explizit auf v4.3, während die andere Seite keinen Versionsstand nennt und möglicherweise einen älteren Stand oder eine andere Konfiguration zeigt, etwa ohne Fallback. Zweitens: Kimi K3 erreicht auf AutomationBench-AA laut einem Bericht 53 Prozent und ist damit das beste getestete Modell. Demgegenüber steht ein arXiv-Paper von Daniel Shepard und Robin Salimans, wonach selbst die besten Frontier-Modelle auf AutomationBench weniger als 10 Prozent erreichen. Die Aussagen beziehen sich möglicherweise auf unterschiedliche Versionen oder Implementierungen: Kimi K3 wurde auf AutomationBench-AA getestet, der Artificial-Analysis-Implementierung, während das Paper das ursprüngliche AutomationBench von Zapier beschreibt. Skalierung, Aufgabenauswahl oder Metriken könnten abweichen; auch der Prozentsatz korrekt gelöster Aufgaben gegenüber einem durchschnittlichen Score ist nicht geklärt.

Was die neuen Benchmarks für die Modellauswahl bedeuten

Die Änderungen verschieben den Fokus des Index stärker auf agentische Workflows und reale Geschäftsprozesse. Modelle, die bei mehrstufigen Aufgaben über mehrere Anwendungen hinweg gut abschneiden, profitieren von der Aufnahme von AutomationBench-AA und der aktualisierten Terminal-Bench-Version. Open-Weight-Modelle geraten unter Druck: Das beste offene Modell, GLM-5.3 Flash, erreicht 42 Punkte und liegt damit deutlich hinter den proprietären Spitzenreitern. Die Kosten-Effizienz-Frontier zeigt zugleich, dass günstige Modelle wie MiMo-V2.5-Pro und GLM-5.3-Flash bei niedrigeren Intelligenzniveaus konkurrenzfähig bleiben. Ähnliche Automatisierungsthemen behandelt SAPs Autonomous Enterprise, das kürzlich vorgestellt wurde und eine neue Business AI Platform umfasst. Für die Modellauswahl bedeutet das: Wer agentische Workflows automatisieren will, sollte die neuen Benchmarks getrennt vom Gesamtindex betrachten, da die Widersprüche bei AutomationBench-AA noch nicht aufgelöst sind.