AscendGYM: Benchmark prüft, wie gut Agenten bestehende Ascend-Kernel beschleunigen
Das Shenzhen Loop Area Institute setzt auf Optimierung statt Generierung. Die Testfälle stammen aus realen Workloads, die Bewertung umfasst eine Kostenmetrik. Mehrere Aussagen der Autoren sind bislang ungeprüft.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- AscendGYM umfasst in der Anfangsversion 48 Kernel in drei Schwierigkeitsstufen.
- Es gibt zwei Evaluationsmodi: Modell-Evaluation und Modell-Harness-Evaluation.
- Die Autoren führen die Metrik Speedup-Token Score (STS) ein.
- Code und Aufgabendaten sind öffentlich auf GitHub (SLAI-AITP/AscendGYM) verfügbar.
- Ein Leaderboard vergleicht Modelle, Harnesses und Kernel nach Speedup, Token-Verbrauch und Kosten.
AscendGYM misst, wie gut Agenten vorhandene Ascend-Kernel beschleunigen
Das Shenzhen Loop Area Institute hat den Open-Source-Benchmark AscendGYM vorgestellt. Er prüft, wie gut Modelle und Coding-Agenten bereits vorhandene, korrekte Kernel auf Huawei-Ascend-NPUs optimieren. Kernel sind die Rechenroutinen, die Training und Inferenz großer Sprachmodelle auf dem Beschleuniger ausführen. Ist ein Kernel langsam, bremst er den gesamten Workload.
Die Anfangsversion enthält 48 Kernel in drei Schwierigkeitsstufen. Zu jedem Kernel gibt es Testfälle. Datentypen und Tensorformen dieser Fälle stammen aus realen Trainings- und Inferenz-Aufgaben. Neu ist die Metrik Speedup-Token Score (STS). Sie setzt den Leistungsgewinn in Beziehung zu den Token-Kosten, die ein Modell oder Agent dafür aufwendet.
Zwei Evaluationsmodi, Leaderboard und offener Code auf GitHub
AscendGYM kennt zwei Modi. Bei der Modell-Evaluation wird ein Modell geprüft; dafür steht ein eingebauter Harness aus Suchorchestrierung und Erfahrungsakkumulation bereit. Die Modell-Harness-Evaluation misst dagegen das Zusammenspiel aus Modell und eigenem Agenten. Trainierte Modelle lassen sich so ebenso testen wie selbst gebaute Agenten.
Code und Aufgabendaten liegen auf GitHub unter SLAI-AITP/AscendGYM, der Datensatz zusätzlich auf Hugging Face. Das Repository umfasst die Evaluationsaufgaben, das Evaluationsprojekt, eine native Harness – eine Coding-Agent-Schleife, als Beispiel mit Claude Code – sowie eine Bare Harness, in der ein Modell mit einem Tool-Pool arbeitet.
Ein Leaderboard vergleicht Ergebnisse nach Modell, Harness und Kernel. Angegeben werden Speedup, Token-Verbrauch und geschätzte API-Kosten. Eigene Ergebnisse lassen sich über einen Import-Weg einreichen. Für die Ausführung stehen ein öffentliches AscendForge-Image auf Quay oder ein selbst betriebener, protokollkonformer Dienst bereit. Datensatz und Evaluationsprojekt setzen das offizielle Image nicht voraus.
Optimierung statt Generierung: Abgrenzung zu CANN Bench, Autorenangaben ohne Gegenprobe
Die Autoren sehen bestehende Ascend-Benchmarks vor allem bei der Kernel-Generierung. Als Beispiel nennen sie CANN Bench. Dieser bewertet KI-generierten Operator-Code und umfasst 53 Operatoren mit 1060 Testfällen in vier Schwierigkeitsstufen. Verwandte Arbeiten sind ATRL, ein Reinforcement-Learning-Verfahren, das auf NPUKernelBench und KernelBench evaluiert wurde, ein compiler-gestütztes Diagnose-Framework für Triton-Kernel und KOPE, ein erfahrungsbasierter Agent mit Experience Graph Memory.
Drei zentrale Aussagen stammen allein von den Autoren. Sie sind nicht am Original geprüft. Leistungsverbesserungen auf AscendGYM ließen sich direkt auf reale Workloads übertragen. Die Ausführungsumgebung bilde die Aufrufweise in praktischen Pipelines eng nach. STS erlaube außerdem die Bewertung unter akzeptablem Budget.
Prüfen ließen sich die Behauptungen über einen Abgleich der Testfall-Shapes mit echten Workloads, über das Nachrechnen der STS-Definition im Technischen Bericht und über unabhängige Replikation mit anderen Modellen und Budgets.



