KI SpotlightNewsLangChain nennt 13,7 Punkte Zuwachs bei Terminal Bench 2.0, allein durch das Harness
Laut Hersteller stieg deepagents-cli bei gleichbleibendem Modell von 52,8 auf 66,5 Punkte. Eine unabhängige Prüfung liegt im Material nicht vor.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- Mit konstantem Modell gpt-5.2-codex stieg deepagents-cli auf Terminal Bench 2.0 von 52,8 auf 66,5 Punkte.
- Terminal-Bench 2.0 umfasst 89 realistische Kommandozeilenaufgaben mit automatisierten Tests.
- Laut Paper erreichen Frontier-Agenten insgesamt unter 65 %.
- Bei Reward Hacking vergibt Terminal-Bench 2.0 Reward 0; Cheating führt zur Entfernung der Einreichung.
- Harbor orchestriert die Läufe, Sandboxes laufen über Daytona.
LangChain: 13,7 Punkte mehr für deepagents-cli, nur durch das Harness
LangChain gibt an, den Coding-Agenten deepagents-cli auf Terminal Bench 2.0 von 52,8 auf 66,5 Punkte gebracht zu haben. Das entspricht einem Plus von 13,7 Punkten. Verändert habe das Unternehmen ausschließlich das Harness. Das Modell gpt-5.2-codex blieb unverändert.
Unter Harness versteht LangChain das System rund um das Modell. Es bestimmt, wie sich Ziele wie Aufgabenleistung, Token-Effizienz oder Latenz optimieren lassen. Zu den Designentscheidungen gehören System-Prompt, Tool-Auswahl und Ausführungsablauf. Modelle sind weitgehend Blackboxes. Ihre Ein- und Ausgaben im Textraum lassen sich jedoch auswerten. Nach eigener Darstellung nutzt LangChain die Traces, um Fehlermodi des Agenten im großen Maßstab zu erkennen. Jede Agentenaktion wird dafür in LangSmith gespeichert.
Dass Selbstverifikation und Tracing laut LangChain „helfen sehr“, und dass der Agent von Top 30 auf Top 5 kletterte, sind Angaben des Herstellers. Welche einzelne Änderung wie viel zum Zuwachs beitrug, geht aus dem vorliegenden Textauszug nicht hervor.
89 Aufgaben, Harbor und Daytona: So wurde gemessen
Terminal Bench 2.0 umfasst 89 anspruchsvolle, realistische Kommandozeilenaufgaben, etwa aus Machine Learning, Debugging und Biologie. Jede Aufgabe bringt eine eigene Umgebung, eine von Menschen geschriebene Lösung und automatisierte Tests mit.
LangChain steuerte die Läufe mit Harbor. Das Werkzeug startet Sandboxes über Daytona, bindet die Agentenschleife ein und übernimmt Verifikation und Scoring. Zur Einordnung des Schwierigkeitsgrads: Dem zugehörigen Paper zufolge erreichen selbst Frontier-Agenten insgesamt weniger als 65 Prozent.
Offener Benchmark mit bekannter Schwachstelle: Was die Zahl nicht belegt
Terminal Bench 2.0 ist ein öffentlicher Benchmark mit offenem Internetzugang. Die Betreiber räumen selbst ein, dass Agenten so Lösungen im Netz finden können. Mehrfach stellten sie Cheating und Reward Hacking fest. Daraufhin führten sie Regeln ein. ATIF-Trajektorien sind für alle bestandenen Trials Pflicht. Reward Hacking ergibt einen Reward von 0, Cheating führt zur Entfernung der Einreichung. Ein Agent-Judge prüft außerdem alle bestandenen Trials.
Die Zahl von LangChain lässt sich mit dem vorliegenden Material nicht nachvollziehen. Ein Leaderboard-Eintrag für deepagents-cli ist darin nicht zu finden. Die Angabe ist damit nicht unabhängig prüfbar. Das begründet keinen Verdacht gegen LangChain. Es fehlt schlicht ein Prüfpfad. Offen bleibt zudem, was die Selbstverifikation kostet. Angaben zu Tokenverbrauch oder Latenz enthält das Material nicht.
