Live NexSight: Bestes getestetes Modell löst auf SightLine nur 54,52 Prozent der Aufgaben
↘

Hugging Face stellt „Decision Models“ vor: Modelle bewerten Optionen, statt Text zu erzeugen

Ein Beitrag zeigt pipeline('decision') an einem Support-Ticket-Beispiel. Die Kategorie selbst ist nicht neu. Die Benchmark-Zahlen stammen von Anbietern und Benchmark-Autoren.

· Veröffentlicht: 10.11.2026 ·2 Min Lesezeit
Hugging Face stellt „Decision Models“ vor: Modelle bewerten Optionen, statt Text zu erzeugenMit KI erstellt
Inhalt
◆ Fakten auf einen Blick
  • DecideBench v2 misst Genauigkeit, Kosten und Latenz von 26 Decision Models und weist Pareto-Fronten aus.
  • Claude Opus 4.8 löst 99,3 % der 450 Aufgaben bei etwa 26.500 US-Dollar pro Million Entscheidungen.
  • Ein Decision Model gibt eine Wahrscheinlichkeitsverteilung über Optionen zurück, ohne Text zu generieren.
  • Der PWS-Decisions-Benchmark umfasst 100 öffentliche und 200 private Multiple-Choice-Fragen.
  • Kakaos kanana-2-v-decide-3b-2611 beantwortet laut Modellkarten-Auszug Fragen vom Typ choice, noul und score.

Hugging-Face-Beitrag: Modell gibt Wahrscheinlichkeiten über Optionen statt Text aus

Ein Beitrag auf huggingface.co stellt „Decision Models“ vor. Gemeint sind Modelle, die zu einer Eingabe und vorgegebenen Optionen direkt eine Wahrscheinlichkeitsverteilung über diese Optionen liefern. Text erzeugen sie dabei nicht. Als Gegenbeispiel dient ein LLM (gemma-4-e4b-it-GGUF, Q4_0, per llama cli), das zuerst „denkt“ und danach ein JSON ausgibt.

Vom bestehenden Ansatz der Structured Outputs mit JSON-Schema grenzt sich das Konzept ab. Die Inference-Providers-Dokumentation von Hugging Face beschreibt diesen Ansatz. Dabei bleibt es bei einem LLM. Auch beim Constrained Decoding entsteht die Ausgabe Token für Token als Text. Erzwungen wird nur die Struktur: Nicht schemakonforme Tokens schließt eine Logit-Maske aus.

Support-Ticket-Beispiel: Zuständigkeit, Dringlichkeit und Erstattung per pipeline('decision')

Das Codebeispiel lädt das Modell mit `transformers.pipeline('decision', model='autotrust/GEV-26B-Decide')`. Die Eingabe ist ein Dict mit zwei Teilen. `state` enthält einen Freitext, im Beispiel „I was charged twice for my order and want a refund.“. Unter `questions` stehen die Fragen. Jede Frage hat einen Typ, etwa `choice`, dazu `instructions` und `criteria` mit je einer Beschreibung pro Option. Im Beispiel sind das billing, technical und sales.

Der Beitrag behandelt so Zuständigkeit, Dringlichkeit und Erstattung eines Support-Tickets. Das Snippet ist im vorliegenden Material abgeschnitten. Wie die Ausgabe des Aufrufs aussieht, ist deshalb nicht belegt.

JEV, Liquid AI, Kakao und Parallel: Die Kategorie gibt es schon

Neu ist die Idee als Kategorie nicht. Die Autoren des Benchmarks DecideBench nennen JEV von TypeSafe („System One“) als Begründer. Ihm seien „Dutzende gehostete und offene Alternativen“ gefolgt. Belegt sind aus dem Material Liquid AI d1, Kakaos kanana-2-v-decide-3b-2611, die Parallel Decisions API und DecideBench v2. Laut einem Modellkarten-Auszug, den ein Reddit-Post zitiert, beantwortet Kakaos Modell Fragen der Typen choice (Auswahl), noul (Ja/Nein) und score (Skala).

Das ist eine Ableitung aus dem Material und keine Aussage einer Quelle. Das Eingabeschema aus `state`, `questions` und Fragetypen taucht im Hugging-Face-Beitrag, bei Parallel und bei Kakao ähnlich auf. Das spricht für ein sich herausbildendes gemeinsames Muster. Das Modell im Beitrag stammt vom Anbieter autotrust. Erkennbar kommt es nicht von Hugging Face selbst.

Benchmark-Zahlen stammen von Anbietern und Benchmark-Autoren, nicht von Hugging Face

DecideBench v2 vergleicht 26 Decision Models nach Genauigkeit, Kosten und Latenz. Statt eines Rankings weist er Pareto-Fronten aus. Als Referenz löst Claude Opus 4.8 99,3 % der 450 Aufgaben, bei etwa 26.500 US-Dollar pro Million Entscheidungen und 1,3 Sekunden je Entscheidung. Einzelergebnisse der Decision Models liegen im Material nicht vor. Die Zahlen stammen vom Benchmark-Autor, nicht aus einer Messung von Hugging Face.

Parallels Angabe von 76,22 % Genauigkeit ist eine Herstellerangabe aus einem selbst betriebenen Benchmark. Nachvollziehen lassen sich nur die 100 öffentlichen Fragen, und das nur nach Login. Die 200 privaten Fragen bleiben unzugänglich.

Die Quellen beschreiben uneinheitlich, was ein Decision Model zurückgibt. Der Hugging-Face-Beitrag nennt eine Wahrscheinlichkeitsverteilung, DecideBench einen Options-Schlüssel. Offen bleibt, ob Hugging Face selbst eine Pipeline, einen Hub-Task oder eigene Modelle liefert.

J
Jasmin Freitag
Redaktion · KI-Anwendungen & Tools

Jasmin Freitag beobachtet für KI Spotlight die praktische Seite der künstlichen Intelligenz: neue Anwendungen, generative Werkzeuge, kreative KI und den Einsatz von Tools im Alltag und in Unternehmen. Sie erklärt praxisnah, was ein Werkzeug wirklich taugt.

Ähnliche Artikel