KI SpotlightNewsAutoTrust-JEV-27B v1.1: Offenes Modell liefert Wahrscheinlichkeiten statt Text
AutoTrust Labs nennt für das 27B-Modell einen Index von 67,31 Punkten. Die Zahl stammt aus einer nicht unabhängig geprüften Eigenauswertung.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- AutoTrust-JEV-27B v1.1 gibt nur Wahrscheinlichkeiten für Antwortoptionen aus, keinen Fließtext.
- Die Karte nennt Public Index 67,31, 37 indizierte Benchmarks und 140.178 abgeschlossene Requests.
- Die Auswertung ist selbst berichtet und noch nicht von den Maintainern verifiziert.
- Der Public Index ist ein Skill-Score: 0 entspricht Zufallsniveau, 100 perfekter Leistung.
- Das stärkste Gebiet ist Tools & Automation mit 85,19 Skill-Punkten.
Offenes 27B-Modell gibt Optionswahrscheinlichkeiten statt Fließtext aus
AutoTrust Labs hat das Modell AutoTrust-JEV-27B v1.1 am 17. Oktober 2026 auf Hugging Face veröffentlicht. Die Lizenz ist Apache-2.0, die Basis bildet der Qwen3.8-27B-Backbone, und das Modell liegt in einem eigenen Repository. Was gegenüber v1.0 geändert wurde, lässt sich dem vorliegenden Material nicht entnehmen.
Das Modell beantwortet ausschließlich Auswahl- und Ja/Nein-Fragen. Fließtext erzeugt es nicht. Der Serving-Pfad rendert den Prompt und beschränkt das nächste Token auf die Option-Codes. Danach holt er die Logprobs dieser Codes aus vLLM und normalisiert sie zu einer Verteilung. Anwendungen werten daher keine generierten Sätze aus. Sie gewichten die erlaubten Antworten direkt.
Die Parameterzahl beträgt 27,36 Milliarden. Darin enthalten ist ein geerbter Vision-Tower, obwohl die Modellkarte nur Texteingaben nennt. Als Speicherempfehlung gibt die Karte MAX_LEN=32768 auf einer 80-GB-Karte an. Die Median-Latenz liegt laut den Angaben bei 64,8 Millisekunden auf einer B300.
67,31 Index-Punkte: Stärken bei Tool-Auswahl, Schwächen bei offenem Reasoning
Die Modellkarte nennt einen Public Index von 67,31. Grundlage sind 37 Benchmarks mit 140.178 Requests aus der Decision Index 0.3 Public Suite. Der Index ist ein Skill-Score: 0 entspricht Zufallsniveau, 100 perfekter Leistung. Ebenfalls genannt wird ein Raw Index von 75,62. Dieser misst etwas anderes und lässt sich nicht gegen den Public Index tauschen. Die Einzelwerte in den Tabellen sind dagegen nicht chance-adjustiert. Außerdem gelten alle Werte für Adaptionen der Optionsauswahl, nicht für die Standardprotokolle der Benchmarks.
Am besten schneidet das Modell laut Karte bei Tools & Automation ab, mit 85,19 Punkten. Es folgen CLINC150+OOS mit 97,06, BFCL mit 96,25, BANKING77 mit 93,63 und der Home-Appliance-Simulator mit 89,77. Schwach sei das Modell laut alphasignal.ai bei GPQA Diamond, HLE, ChessBench, offenem Reasoning und Geschmacksaufgaben. Das passt zum Aufbau. Das Modell wählt aus vorgegebenen Optionen, es argumentiert nicht frei. Die Karte selbst stellt klar, dass die Werte keine Aussage über Einsatzreife treffen.
Ohne unabhängige Prüfung bleibt die Selbstauswertung unbestätigt
Nach Angaben der Karte handelt es sich um eine selbst berichtete lokale Evaluation mit dem offiziellen Kit. Die Maintainer haben sie nicht verifiziert. Eine unabhängige Bestätigung fehlt. Stand 20. Oktober taucht v1.1 weder im Decision Index 0.4 noch auf JevBench auf. Dort liegt der Vorgänger JEV-27B mit 58,55 Punkten im Full-Score auf Rang 47.
Auch die Aussage, v1.1 liege vor JEV-27B und meist vor dem gehosteten Jev 1.14, stammt vom Hersteller. slm.expert gibt sie lediglich wieder. Eine Kalibrierung für v1.1 ist nicht belegt. alphasignal.ai verweist auf die nötige anwendungsspezifische Kalibrierung.
Wer Router, Klassifikatoren, Tool-Auswahl oder Policy-Gates entwickelt, sollte vor einer Steuerung durch diese Wahrscheinlichkeiten auf eigenen Daten kalibrieren und validieren. Zu Entscheidungen über Personen enthält das Material keine Herstelleraussagen.
