Live RoughCut-Bench: Neuer Benchmark prüft automatisches Rohschneiden von Videos
↘

OutfitterBench: Mehrere Frontier-Modelle schneiden laut Paper schlechter ab als eine einfache Regel-Baseline

Das Benchmark lässt LLM-Agenten 200 Tage lang einen Ausrüstungsverleih führen. Modellnamen und Einzelwerte fehlen, eine unabhängige Bestätigung gibt es nicht.

· Veröffentlicht: 20.11.2026 ·2 Min Lesezeit
OutfitterBench: Mehrere Frontier-Modelle schneiden laut Paper schlechter ab als eine einfache Regel-BaselineMit KI erstellt
Inhalt
◆ Fakten auf einen Blick
  • OutfitterBench simuliert 200 Tage Führung eines Outdoor-Ausrüstungs-Vermietungsgeschäfts mit einem Katalog aus 46 Produkten.
  • Mit sieben Frontier-LLMs schneiden mehrere Agenten schlechter ab als die Baseline.
  • Nur der führende Agent übertrifft die regelbasierte Baseline konsistent.
  • Das Repository umfasst 200 Betriebstage plus 14 automatische Abwicklungstage.
  • Eine regelbasierte Calendar-Baseline ohne LLM und ohne API-Key ist enthalten.

Mehrere Frontier-Modelle verlieren gegen eine Regel-Baseline

Laut dem Paper zu OutfitterBench führen LLM-Agenten im neuen Benchmark 200 simulierte Tage lang ein Outdoor-Ausrüstungsgeschäft zur Vermietung. Von sieben getesteten Frontier-Modellen schneiden mehrere schlechter ab als eine einfache regelbasierte Baseline. Nur das führende Modell übertrifft sie konsistent. Gemessen wird, ob die Agenten ihre eigenen Zusagen, also Reservierungen, einhalten. Außerdem prüft der Test, wie knappe, wiederverwendbare Ausrüstung zwischen Reservierungen und Laufkundschaft verteilt wird.

Das sind Angaben der Autoren. Modellnamen, Einzelwerte und Effektgrößen liegen im vorliegenden Material nicht vor. Eine unabhängige Bestätigung fehlt. Der einzige Drittbericht beschreibt lediglich Aufbau und Tooling.

Die Trajektorienanalyse der Autoren nennt mehrere Muster. Manche Agenten wenden bekannte Randbedingungen uneinheitlich an. Sie treffen neue Entscheidungen, die mit bestehenden Zusagen kollidieren. Agenten, die Zusagen verlässlicher erfüllen, erzielen teils geringe Erträge aus vergleichbaren Zusagen. Wieder andere verzögern die Umverteilung von Ressourcen. Der Spitzenreiter verbindet Vorbereitung besser mit wirtschaftlichen Entscheidungen. Er verpasst jedoch profitablere Nutzungen der Anlagen.

46 Produkte, 1.100 Reservierungen, feste Kapitalgrenze

Der Aufbau sieht so aus: Die Agenten kaufen aus einem Katalog mit 46 Produkten ein und bearbeiten rund 1.100 Reservierungsanfragen. Eine feste Kapitalobergrenze begrenzt ihren Spielraum. Reservierungen und unsichere Laufkundschaft konkurrieren um dieselbe wiederverwendbare Ausrüstung, deren Verfügbarkeit sich im Zeitverlauf ändert. Wer heute vermietet, gefährdet unter Umständen eine spätere Buchung. Wer zu viel Kapazität zurückhält, verliert lukrative Nachfrage.

Laut dem offiziellen Repository umfasst ein Lauf 200 Betriebstage plus 14 automatische Abwicklungstage. Die Ausrüstung durchläuft Vermietung, Rückgabe, Reinigung und Wartung. Bewertet wird der langfristige Geschäftswert, nicht die Zahl der Buchungen oder die Mieteinnahmen. Berechnet wird er als Zuwachs ΔV aus Kasse, Ausrüstungswert und offenen Verpflichtungen.

Calendar-Baseline, Wetterdaten und der Abstand zu Vending-Bench

Das Repository liefert eine Calendar-Baseline ohne LLM und ohne API-Key. Sie arbeitet mit festen Preisen, Sortimentsregeln und Kapazitätsschutz. Sie ist ausdrücklich keine optimale Planung. Hinzu kommen eine Offline-Auswertung, eine OpenAI-kompatible Tool-Calling-Schnittstelle sowie Läufe, die sich pausieren und fortsetzen lassen.

Beim Wetter gibt es einen Haken. Die Repo-Distribution enthält einen öffentlichen Datensatz (beijing-2023-noaa-era5-v1). Das Paper nutzte jedoch einen anderen, eingefrorenen Wetter-Input. Ergebnisse beider Inputs sind getrennt auszuweisen.

Als Vorläufer nennt das Material Vending-Bench von Andon Labs. Dessen Version 2 bewertet seit dem 18. November 2025 eine einjährige Simulation nach Kontostand. Zugunsten von Version 2 gilt das ursprüngliche Vending-Bench als veraltet. Dass OutfitterBench mit seinem Fokus auf eigene Zusagen und Ressourcenumverteilung tatsächlich neu ist, ist die Selbsteinordnung der Autoren. Das Material prüft sie nicht unabhängig. Es enthält nur Vending-Bench-Varianten als Vergleich. Aussagen zu Praxisfolgen lassen sich daraus nicht ableiten.

A
Andreas Rüdiger
Herausgeber & Redaktionsleitung · KI-Modelle, Technik & Business

Andreas Rüdiger ist Gründer der Agentur INREMA und verantwortet KI Spotlight redaktionell. Sein Schwerpunkt liegt auf KI-Modellen, Recheninfrastruktur, technischen Entwicklungen und der wirtschaftlichen Einordnung. Er sorgt dafür, dass komplexe KI-Themen verständlich und nachvollziehbar aufbereitet werden. Mehr zu ihm auf inrema.de und andiger.de.

Ähnliche Artikel