KI SpotlightNewsOR-License: Kein getestetes LLM erreicht das Expertenniveau bei realen OR-Aufträgen
Elf Frontier-LLMs mit Coding-Agent-Harnesses wurden an 31 Instanzen aus bezahlten Aufträgen getestet; bei der DAQ liegt keines auf Expertenniveau. Die Zahlen stammen bislang nur aus dem Abstract.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- OR-License ist ein End-to-End-Benchmark mit 31 Instanzen in 10 industriellen Szenarien.
- Der Benchmark umfasst Projektvolumen von insgesamt 3,68 Mio. USD aus bezahlten OR-Aufträgen.
- ORSim ist ein kontrollierter Kundensimulator, der Geschäftsfakten offenlegt, ohne OR-Expertise zu liefern.
- Die verdeckte Bewertung prüft Zulässigkeit und vergleicht Zielwerte mit vom Kunden akzeptierten Expertenlösungen.
- Getestet wurden 11 Frontier-LLMs; keines erreicht die Expertenreferenz bei der DAQ.
Bei der DAQ bleibt jedes getestete Modell hinter den Experten zurück
Große Sprachmodelle liefern bei realen Operations-Research-Aufträgen bislang keine Expertenqualität. So steht es im Abstract zum Benchmark OR-License. Getestet wurden 11 Frontier-LLMs, die mit Coding-Agent-Harnesses arbeiteten. Einige übertreffen die Expertenreferenz bei der bedingten Zielwertqualität, also der Güte des Zielwerts bei zulässigen Lieferungen. Bei der Deployment-Adjusted Quality (DAQ) erreicht dagegen keines der Modelle den Wert der Experten.
Die stärkste primäre Claude-Code-Konfiguration kommt auf 88,39 Prozent strikte Zulässigkeit und eine DAQ von 0,87. Die Expertenreferenz liegt bei 1. Rund 12 Prozent der Lieferungen dieser Konfiguration waren demnach nicht strikt zulässig. Für die DAQ ist das relevant, denn sie vergibt für unzulässige Lieferungen null Punkte, sodass Unzulässigkeiten voll in den Wert einfließen.
Belastbar sind die Zahlen bislang nur eingeschränkt. Sie stammen ausschließlich aus dem Abstract der Arbeit.
31 Instanzen aus bezahlten Aufträgen über 3,68 Millionen US-Dollar
OR-License umfasst 31 Instanzen aus 10 industriellen Szenarien. Sie stammen aus bezahlten Operations-Research-Aufträgen mit einem gemeinsamen Projektvolumen von 3,68 Millionen US-Dollar. Nach der Anonymisierung bleiben Anforderungen, Eingabedaten, Lieferformate und Informationsgrenzen erhalten. Die Agenten arbeiten damit mit denselben Unterlagen wie seinerzeit die menschlichen Experten, nicht mit einem bereinigten Problemtext.
Im Projektalltag beantworten Kunden Rückfragen. Die Autoren bilden das mit dem Kundensimulator ORSim nach. Er legt Geschäftsfakten offen, liefert aber keine OR-Expertise. Damit lässt sich prüfen, ob ein Agent die nötigen Informationen selbst beschafft.
Die Bewertung läuft verdeckt. Geprüft werden Zulässigkeit und Zielwertqualität. Letztere misst man an den ursprünglichen Expertenlösungen, die der Kunde vor dem Bau des Benchmarks akzeptiert hatte. Die DAQ mittelt die expertenrelative Qualität über alle Instanzen und setzt unzulässige Lieferungen auf null.
Abgrenzung zu NL4Opt, IndustryOR und OR-LLM-Agent
NL4Opt, MAMO, IndustryOR und OptiBench arbeiten mit vorformulierten Aufgaben. Ihre Daten liegen unter anderem gebündelt im ORLMBenchmark-Repository auf Hugging Face. IndustryOR wurde als erster industrieller Benchmark für Realwelt-OR eingeführt. OR-LLM-Agent verarbeitete zuvor 83 reale OR-Probleme in natürlicher Sprache und erzeugte daraus Gurobi-Code. OR-License setzt dagegen bei den Originalunterlagen der Kunden an.
