KI SpotlightNewsFDE-Gym: Beste getestete KI-Konfiguration löst 14 von 95 Lieferaufgaben
FDE-Gym prüft, ob KI-Agenten unklare Kundenanforderungen klären und unausgesprochene Randbedingungen finden. Im realistischen Setting erreicht das beste getestete Modell im Mittel 0,56.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- FDE-Gym umfasst 95 Ende-zu-Ende-Lieferaufgaben aus 20 Kundenszenarien in 18 Sektoren.
- Bewertet wird, wie stark die Lieferung die Erfolgskennzahl des Kunden verbessert, von 0 bis 1.
- Eine Online-Plattform lässt Menschen FDE-Fähigkeiten unter denselben Bewertungskriterien üben.
- Getestet wurden 13 Modellkonfigurationen von sieben Anbietern.
- Die beste Konfiguration erreicht im realistischen Setting im Mittel 0,56 und löst 14 von 95 Aufgaben.
Beste Konfiguration löst 14 von 95 Lieferaufgaben
FDE-Gym ist ein neuer Benchmark, der Kundenlieferung als Ende-zu-Ende-Aufgabe misst. Geprüft wird, ob KI-Agenten vorgehen wie Forward-Deployed Engineers (FDEs). Sie sollen Anforderungen klären, in laufenden Systemen arbeiten und Randbedingungen aufdecken, die niemand ausspricht. Bestehende Agenten-Benchmarks stützen sich dagegen meist auf gut spezifizierte Aufgaben wie Issue-Berichte, Spezifikationen oder Tickets.
Getestet wurden 13 Modellkonfigurationen von sieben Anbietern. Im realistischen Setting, in dem Randbedingungen unerwähnt bleiben, erreicht die beste Konfiguration im Mittel 0,56. Als gelöst gilt eine Aufgabe ab einem Score von 0,8 ohne Zwischenfall. Das gelingt in 14 von 95 Fällen. Laut Abstract ist das Entdecken unausgesprochener Randbedingungen der Hauptengpass. Die Leistung sinkt deutlich, sobald Modelle solche Randbedingungen selbst finden müssen. Ein Satz im vorliegenden Material bricht an dieser Stelle ab. Er wird hier nicht ergänzt.
Die Arbeit stammt von einem Autorenkreis um DeepLethe, beteiligt sind Hochschulen und Unternehmen. Veröffentlicht wurde sie auf arXiv. Die Autoren behaupten außerdem eine erhebliche Leistungslücke gegenüber gut spezifizierten Benchmarks. Das ist ihre Angabe. Konkrete Vergleichswerte liefert das vorliegende Material nicht.
Simulierte Stakeholder, veränderbare Systeme, Abzüge für Rückfragen
Die 95 Aufgaben stammen aus 20 Kundenszenarien in 18 Sektoren. Branchenexperten haben sie aus realen Lieferprojekten adaptiert. Die Agenten arbeiten in simulierten Kundenumgebungen. Sie sprechen mit geskripteten Stakeholdern und verändern produktionsnahe Kundensysteme, bis eine funktionierende Lösung steht.
Bewertet wird, wie stark die Lieferung die Erfolgskennzahl des Kunden verbessert. Die Skala reicht von 0 (unverändertes System) bis 1 (Referenzlösung). Für Stakeholder-Interaktionen gibt es Abzüge, und zwar für Nachrichten, Testläufe und Wartezeit. Rückfragen und Probeläufe sind also nicht kostenlos. Blindes Ausprobieren verliert damit an Wert.
Zusätzlich bietet eine Online-Plattform Menschen die Möglichkeit, FDE-Fähigkeiten unter denselben Bewertungskriterien zu üben.
Wer den Benchmark nutzen kann und wo er nicht zu verwechseln ist
Angesprochen sind Entwickler und Anbieter von Agenten sowie Dienstleister, die Agenten bei Kunden einsetzen. Sie erhalten damit eine Prüfgrundlage. Über die Plattform richtet sich das Angebot auch an Forward-Deployed Engineers und Berufseinsteiger.
Nicht verwechseln sollte man FDE-Gym mit FDE-Bench, das 136 Aufgaben zur Konfiguration von Deployment-Umgebungen umfasst. Ebenso wenig gehört SWE-Gym dazu, eine Trainingsumgebung mit 2.438 Aufgaben. Beide sind weder Vorgänger noch Varianten.
Das Paper liegt unter fde-gym.com/paper, der Code unter github.com/deeplethe/fde-gym, der Datensatz auf Hugging Face. Wie groß der Abstand zu SWE-bench zahlenmäßig ist, bleibt offen, denn ein direkter Vergleich fehlt im Material. Ein Geschäftsinteresse von DeepLethe ist ebenfalls nicht belegt.
