Artificial Analysis führt Cyber Index für Cyberabwehr-Aufgaben ein

Cyber Index für Cyberabwehr-Aufgaben

Artificial Analysis stellt in Partnerschaft mit der Cyber Index Alliance einen zusammengesetzten Index vor, der bewertet, wie gut KI-Modelle Cyberabwehr-Aufgaben erledigen. In der Cyberabwehr sind Aufgaben mehrstufig: Schwachstellen müssen gefunden, reproduziert und validiert sowie gepatcht werden, ohne bestehende Funktionalität zu brechen. Einzelne Benchmarks decken oft nur einen Teil dieses Verteidigungskreislaufs ab; ein zusammengesetzter Index ist daher nötig, um die Gesamtleistung eines Modells über alle Phasen hinweg abzubilden. Die Partnerschaft mit der Cyber Index Alliance bringt Industrieexperten ein, die Design und Implementierung mitgestalten und Datensätze sowie externe Forschung beisteuern können. Der Index kombiniert drei Evaluierungen, die den Verteidigungskreislauf abdecken.

Drei Evaluierungen und Gewichtung

Der Index ist ein gleichgewichteter Durchschnitt aus drei Bewertungsergebnissen: CWE-Bench-AA pass@1, DeepsecBench-AA F2 (Median aus drei Läufen) und CyberGym-E2E-AA pass@1. Jede Punktzahl wird vor der Mittelung auf eine Skala von 0 bis 100 gebracht. Die drei Evaluierungen decken den Verteidigungskreislauf ab: das Auffinden von Schwachstellen in einer Codebasis, das Reproduzieren und Validieren sowie das Patchen ohne Bruch bestehender Funktionalität. Die Gleichgewichtung wurde gewählt, um eine Ausgewogenheit zwischen den Phasen des Verteidigungskreislaufs sicherzustellen: Keine einzelne Phase soll den Gesamtscore dominieren, da alle drei für eine vollständige Cyberabwehr gleichermaßen kritisch sind. Für die Bewertung bedeutet das, dass ein Modell in allen drei Bereichen überzeugen muss, um einen hohen Indexwert zu erreichen; Stärken in nur einer Phase werden durch Schwächen in anderen ausgeglichen.

Kosten pro Aufgabe im Blick

Die Seite zum Cyber Index enthält Darstellungen wie "Score vs. Cost per Task", "Safety Blocks", "Token Usage" und "Cost per Task". Die Gegenüberstellung von Score und Kosten pro Aufgabe ist für Anwender zentral, weil Cyberabwehr-Operationen oft in großem Maßstab laufen: Ein Modell mit hohem Score, aber sehr hohen Kosten pro Aufgabe kann für den Dauereinsatz unwirtschaftlich sein. Die Kosten-Pro-Task-Darstellung beantwortet die Frage, welches Modell die beste Kosten-Effizienz bietet. Ergänzend führt Artificial Analysis einen separaten Coding Agent Index, der End-to-End-Softwareentwicklungsaufgaben bewertet und ebenfalls Kostenkennzahlen ausweist, sowie einen Intelligence Index mit "Cost per Intelligence Index Task". Diese separaten Indizes helfen Anwendern, Modelle für unterschiedliche Anwendungsfälle zu vergleichen: Der Coding Agent Index fokussiert auf Programmier- und Agenten-Workflows, der Intelligence Index auf allgemeine Denk- und Wissensfähigkeiten.