KI SpotlightNewsRealCLI: Beste CLI-Agenten-Konfiguration erreicht im neuen Benchmark nur 49,2 Prozent
Der gepaarte Benchmark misst Aufgabenerfolg und Zusammenarbeit getrennt, und zwar mit einem skriptgesteuerten Nutzer. Die Zahlen stammen von den Paper-Autoren selbst und sind bislang nicht unabhängig geprüft.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- RealCLI ist ein gepaarter Benchmark für Aufgabenausführung und Mensch-Agent-Zusammenarbeit auf CLI-Aufgaben.
- Das Rahmenwerk hat fünf Dimensionen, 22 Subdimensionen und 51 Interaktions-Szenariovorlagen.
- Kollaboration wird mit einem skriptgesteuerten Nutzer gemessen, nicht mit echten Menschen.
- Die beste Konfiguration erreicht laut Autoren im Schnitt 49,2 %, bei J_collab höchstens 37,6 %.
- Aufgabeneffektivität und Kollaborationsqualität laufen stark auseinander; Schwächen bei Steuerbarkeit und Sicherheitsgrenzen.
Beste Konfiguration in RealCLI erreicht nur 49,2 Prozent
Ein neues Paper stellt RealCLI vor, einen gepaarten Benchmark für CLI-Agenten. Er prüft realistische Kommandozeilenaufgaben in zwei Dimensionen: ob der Agent die Aufgabe erledigt und wie gut er dabei mit dem Menschen zusammenarbeitet. Anlass ist laut den Autoren, dass CLI-Agenten immer längere Aufgaben übernehmen. Bestehende Benchmarks setzen entweder feste Nutzeranweisungen voraus oder bewerten nur das Endergebnis. Die Zusammenarbeit während der Laufzeit bleibt dabei außen vor.
Laut den Autoren erreicht die beste getestete Konfiguration im Schnitt 49,2 Prozent. Beim Kollaborationswert J_collab liegt die Spitze bei 37,6 Prozent. Beide Werte stammen von den Paper-Autoren selbst.
Fünf Dimensionen, zwei Modi, gleiche Aufgaben
Das Rahmenwerk gliedert sich in fünf Dimensionen, 22 Subdimensionen und 51 Vorlagen für Interaktionsszenarien. Den Kern bildet das gepaarte Design mit zwei Modi. REALCLI-EXEC gibt dem Agenten die vollständige Spezifikation von Beginn an. REALCLI-COLLAB setzt dagegen einen skriptgesteuerten Nutzer ein. Dieser liefert Informationen nach, korrigiert Vorgaben, ändert Randbedingungen und entscheidet über Freigaben.
Weil dieselben Aufgaben in beiden Varianten laufen, lassen sich Aufgabenerfolg und Kollaborationsqualität direkt vergleichen. Echte Menschen sind nicht beteiligt. Auch ein LLM spielt den Nutzer laut Abstract nicht. Das Verhalten ist vorab als Skript festgelegt.
Schwächen bei Steuerbarkeit und Sicherheitsgrenzen, bislang ohne unabhängige Prüfung
Nach Darstellung der Autoren klaffen Aufgabenerfolg und Kollaborationsqualität stark auseinander. Die Modelle zeigten durchgehend Schwächen bei der Steuerbarkeit, bei der Kalibrierung von Vertrauen und beim Umgang mit Sicherheitsgrenzen. Die Autoren sprechen von „profound capability gaps“ bei Frontier-Agenten und bezeichnen RealCLI als „rigorous, reproducible foundation“. Beides ist ihre eigene Einschätzung, ebenso die Abgrenzung zu früheren Benchmarks.
Unabhängig geprüft ist davon bislang nichts. Das vorliegende Material enthält weder einen Vergleich mit Terminal-Bench, SWE-bench oder τ-bench noch Angaben zu Code, Datensatz oder Harness. Eine Reproduktion der Ergebnisse fehlt ebenfalls. Ob der Anspruch der Reproduzierbarkeit hält, lässt sich deshalb nicht beurteilen.
Für Teams, die Agenten-Werkzeuge vergleichen, könnte die Kollaborationsqualität ein zusätzliches Auswahlkriterium neben dem reinen Aufgabenerfolg sein. Die Studie liegt als arXiv-Preprint vor.
