Artificial Analysis stellt Intelligence Index v5 auf überwiegend private Testsets um

Private Testsets werden im Intelligence Index v5 zur Mehrheit

Artificial Analysis hat den Intelligence Index v5 am 27. Oktober 2026 veröffentlicht. Der Index umfasst zwei neue Benchmarks und drei Upgrades. 60 Prozent beruhen jetzt auf Evaluierungen mit privaten Testsets oder zurückgehaltenen Antworten. Damit stellen private Daten erstmals die Mehrheit.

Parallel startet der Anbieter den Progress Index v1. Er soll die Modellfähigkeit über die Zeit auf einer durchgehenden Skala verfolgen. Was er genau misst, erläutern die vorliegenden Quellen nicht.

Laut Artificial Analysis ist v5 das größte Upgrade seit dem Start von v4 im Januar. Die privaten Sets sollen verhindern, dass Modelle gezielt auf die Tests hin optimiert werden. Beides ist eine Anbieterangabe. Unabhängig belegt ist es nicht.

FrontierCode 2.0 und Terminal-Bench-Science kommen hinzu, HLE-Diamond ersetzt Humanity's Last Exam

Neu im Index ist FrontierCode 2.0. Der private Benchmark stammt von Cognition und prüft reale Coding-Aufgaben. Bewertet wird, ob ein Repository-Maintainer die Änderung des Agenten übernehmen würde. Laut Gigazine verwendet der Test bewusst mehrdeutige Prompts. So soll sichtbar werden, ob Modelle eigenes Urteilsvermögen zeigen. Hinzu kommt Terminal-Bench-Science mit 70 agentischen Forschungsaufgaben in einer Terminal-Umgebung.

Überarbeitet wurden drei Benchmarks. HLE-Diamond ersetzt Humanity's Last Exam und umfasst 1.000 Fragen, je zur Hälfte Reasoning und Wissen. AA-Omniscience v1.1 entfernt gesättigte und öffentliche Fragen. Neue Fragen kommen hinzu, mehrdeutige oder fehlerhafte werden korrigiert. CritPt v2 ist ein privates Subset aus 40 Fragen. Die CritPt-Autoren haben es überarbeitet, ausgeführt wird es mit einem Code-Execution-Tool.

Teile des Umbaus hatte Artificial Analysis bereits in v4.2 und v4.3 vorgezogen: AA-Briefcase, GDP.pdf, AutomationBench-AA und Terminal-Bench 4. GPQA Diamond und 𝜏³-Banking entfielen dort schon.

Bei der Gewichtung nennt Gigazine für v5 je 25 Prozent pro Kategorie. In v4.3 seien es 30/30/20/20 gewesen. Die FAQ zu v4.1.1 nennt ebenfalls vier Kategorien mit je 25 Prozent. Ob hier eine geänderte Gewichtung oder eine abweichende Darstellung vorliegt, lässt das Material nicht eindeutig erkennen. Eine Aufschlüsselung der 60 Prozent pro Benchmark liegt nicht vor.

Open-Weight-Modelle fallen zurück, die Zahlen lassen sich aber nicht direkt vergleichen

Cybernews zufolge führt nun Claude Opus 5.5 mit 58 Punkten. GPT-6 Astra folgt mit 57. Kimi K3.1 Pro fällt von 55 auf 46. Der Abstand des besten Open-Weight-Modells zur Spitze wächst damit auf 12 Punkte. Auch Grok 4.7 und weitere offene Modelle verlieren an Rang.

In r/LocalLLaMA lesen Nutzer darin eine größere Lücke zwischen offenen und geschlossenen Modellen. Kein Open-Weights-Modell liege mehr im attraktivsten Quadranten oder nahe der Pareto-Linie. Das ist eine Lesart aus der Community, keine geprüfte Analyse.

Ein direkter Vergleich mit früheren Werten ist schwierig. Artificial Analysis meldete für v4.3 eine Spitze von 53 Punkten, erreicht von Claude Fable 5.1 und GPT-6 Astra. Als bestes offenes Modell nannte der Anbieter damals GLM-5.3 Flash mit 42 Punkten. Mögliche Gründe für die Abweichung zu Cybernews sind andere Modellvarianten, Stichtage oder Index-Versionen. Die v5-Rangliste der Primärquelle liegt nicht vor.

Zur Kritik an der Neugewichtung sagen die Belege wenig. Cybernews erwähnt Kommentatoren, die die Neuordnung anzweifeln. Angaben zum Konfidenzintervall von v5 fehlen. Für v4.1 nannte der Anbieter weniger als ±1 Prozent.