KI SpotlightNewsStudie stellt Nutzen automatischer Harness-Evolution für LLM-Agenten infrage
Einfache Task-Level-Suchbaselines erzielen unter gleichem Budget und auf held-out Aufgaben oft bessere Ergebnisse.
Mit KI erstelltStudie stellt Nutzen automatischer Harness-Evolution infrage
Eine neue Studie stellt den Nutzen automatischer Harness-Evolution für LLM-Agenten grundsätzlich infrage. Bisherige Methoden verwenden Unit-Tests, um nach optimalen Harness-Konfigurationen zu suchen, und bewerten die Endleistung auf demselben öffentlichen Benchmark. Die Untersuchung kritisiert dieses Evaluationsprotokoll als mangelhaft und zeigt experimentell, dass einfache Task-Level-Suchbaselines unter gleichen Bedingungen oft eine gleich gute oder bessere Leistung erzielen. Die Autoren argumentieren, dass die bisher berichteten Vorteile der Harness-Evolution teilweise auf unzureichende Vergleichsmaßstäbe zurückgehen. Die Ergebnisse legen nahe, dass ein erheblicher Teil des gemessenen Fortschritts nicht auf die Evolution selbst, sondern auf die Evaluationsmethodik zurückzuführen ist.
Zwei grundlegende Schwächen der bisherigen Evaluierung
Die Autoren identifizieren zwei grundlegende Schwächen des bisherigen Evaluationsprotokolls. Erstens: Harness-Evolution ist selbst ein iterativer Suchprozess. Dabei werden Kandidaten-Harnesse wiederholt mit Task-Feedback evaluiert und revidiert. Die Evolution sucht im Raum möglicher Harness-Konfigurationen nach der besten Lösung und nutzt dabei dasselbe Feedback, das auch eine einfache Suche verwenden könnte. Ähnlich wie bei agentischen Testzeit-Scaling-Methoden handelt es sich um eine Suche, die Rechenressourcen verbraucht. Deshalb sollte sie mit einfachen Task-Level-Suchbaselines unter identischem Rechenbudget verglichen werden. Bisher fehlt ein solcher Vergleich jedoch, sodass unklar bleibt, ob die Evolution tatsächlich bessere Ergebnisse liefert als eine schlichte Suche. Zweitens: Die finale Evaluation verwendet denselben Benchmark wie der Suchprozess. Das begünstigt Overfitting, weil die Harnesse auf die spezifischen Testfälle optimiert werden, anstatt generalisierende Fähigkeiten zu entwickeln. Overfitting führt dazu, dass die berichtete Leistung auf dem Benchmark die tatsächliche Leistung auf neuen Aufgaben überschätzt. Dieser Mangel verzerrt die Bewertung der Methoden und kann zu falschen Schlussfolgerungen über die Wirksamkeit der Evolution führen. Die Studie schlägt daher vor, held-out Tasks für die abschließende Bewertung einzusetzen, um eine verlässlichere Beurteilung der Generalisierungsleistung zu ermöglichen.
Einfache Suche schlägt oft evolvierte Harnesse
Die Studie vergleicht die Harness-Evolution mit einfachen Task-Level-Suchbaselines unter identischem Rechenbudget und evaluiert die Leistung auf held-out Aufgaben. Dabei zeigt sich, dass die einfachen Suchverfahren die Leistung evolvierter Harnesse häufig erreichen oder übertreffen. Die vermeintliche Überlegenheit automatischer Harness-Evolution schwindet damit. Die Ergebnisse deuten darauf hin, dass ein Teil der bisher berichteten Fortschritte auf unzureichende Evaluationsprotokolle zurückgeht. Die Autoren fordern daher eine Neubewertung der bisherigen Ergebnisse und eine Anpassung der Evaluationspraxis, um den tatsächlichen Mehrwert der Harness-Evolution zu ermitteln.
Harness: Flugzeug oder Spaghetti-Code?
Während vaksninus in r/LocalLLaMA den Harness als treffende Beschreibung für die Codebasis lobt, die Modelle wie Claude Code erst richtig nutzbar macht, fragt sich Cupakov in r/LocalLLaMA ironisch, ob es sich nicht eher um einen Haufen LLM-generierter Spaghetti handelt. Die neue Studie nährt genau diese Skepsis: Automatisch evolvierte Harnesse könnten mehr Chaos stiften als echten Mehrwert liefern.
