KI SpotlightNewsFireworks AI veröffentlicht Modellvergleich für sieben Fachdomänen
Der Specialized Intelligence Index vergleicht offene, geschlossene und spezialisierte Modelle. Im τ³-Banking führt GLM 5.3 ein enges Feld an.
Mit KI erstellt◆ Fakten auf einen Blick
- Fireworks AI veröffentlicht den Specialized Intelligence Index (SII) mit Leistungswerten offener, geschlossener und spezialisierter Modelle.
- Der Index startet mit sieben Domänen: Healthcare, Legal, Cybersecurity, Finance, Customer Support, Productivity und Software.
- Der τ³-Banking-Benchmark umfasst 97 Aufgaben der banking_knowledge-Teilmenge mit vier Läufen pro Aufgabe.
- Laut Fireworks testet τ³-Banking von Sierra 16 Modelle, Spitzenreiter ist GLM 5.3 mit 51,6 %.
- GLM 5.3 liegt laut Fireworks vor allen geschlossenen Modellen, bei 80 % geringeren Kosten als Claude Opus 5.
Fireworks AI hat den Specialized Intelligence Index (SII) veröffentlicht. Die Rangliste vergleicht offene, geschlossene und spezialisierte Modelle auf domänenspezifischen Benchmarks. Zum Start umfasst sie sieben Bereiche: Healthcare, Legal, Cybersecurity, Finance, Customer Support, Productivity und Software. Weitere sollen laut Unternehmen folgen.
Die Begründung knüpft an eine Kritik an öffentlichen Benchmarks an. Sie arbeiteten mit begrenzten Aufgaben, festen Datensätzen und standardisierter Bewertung. Reale Arbeit dagegen sei von unvollständigen Informationen, wechselndem Umfang und Abwägungen geprägt, so das Unternehmen. Als Beleg führt es eine METR-Studie an: Vier Maintainer prüften 296 KI-generierte Pull Requests aus drei SWE-bench-Verified-Repositories. Ihre Akzeptanzwerte lagen im Schnitt 24,2 Prozentpunkte unter den automatisierten Benchmark-Werten. Die Studie selbst lag der Redaktion nicht vor. Die Zahlen stammen aus der Darstellung von Fireworks AI.
τ³-Banking: Offenes Modell GLM 5.3 liegt vorn, das Feld ist eng
Als Beispiel dient der Benchmark τ³-Banking von Sierra. Er umfasst 97 Aufgaben der Teilmenge banking_knowledge, pro Aufgabe gibt es vier offizielle Läufe. Die Bewertung ist binär. Der Endzustand muss stimmen, und die geforderten natürlichsprachlichen Assertions müssen erfüllt sein. Die Agenten arbeiten mit Datenbank-Tools und einem simulierten Nutzer und müssen Bankrichtlinien einhalten.
Laut der Fireworks-Seite treten 16 Modelle an. Das offene Modell GLM 5.3 führt mit 51,6 Prozent. Die ersten fünf Plätze liegen innerhalb von 0,9 Punkten, der Vorsprung an der Spitze ist also knapp. Drei der fünf Spitzenplätze belegen offene Modelle.
Fireworks AI gibt außerdem an, GLM 5.3 liege vor allen geschlossenen Modellen, bei 80 Prozent geringeren Kosten als Claude Opus 5. Diese Kostenangabe stammt vom Anbieter. Die Ersparnis bezieht sich laut Fireworks auf den Erstplatzierten, bei einem Modell auf Platz eins dagegen auf das teuerste geschlossene Modell der Rangliste.
Herausgeber mit eigenem Interesse, Methodik nur teilweise offen
Fireworks AI bietet selbst Modell-Infrastruktur an und entwickelt mit Kunden spezialisierte Modelle. Ein Beispiel ist das Code-Review-Modell von Macroscope. Nach Herstellerangaben sank der Tokenverbrauch in frühen Trainingsläufen um 25 Prozent, ohne Qualitätsverlust. Fireworks ist damit zugleich Herausgeber des Index und selbst an spezialisierten Modellen beteiligt, ein Interessenkonflikt ist daher möglich.
Die Aussagen, jeder Benchmark spiegle Praktikeraufgaben wider und der Index sei die zentrale Anlaufstelle, sind Herstellerangaben. Das gilt auch für die These, offene Modelle seien wettbewerbsfähig. Im vorliegenden Material stützt sie nur τ³-Banking, und dort liegt die Spitze 0,9 Punkte auseinander. Ein Gesamtranking, die vollständige Methodik und Modelllisten liegen nicht vor. Artificial Analysis hat unabhängig davon den Intelligence Index v4.3 angekündigt.
