KI SpotlightNewsHarnessDev: Neuer Benchmark bewertet die Infrastruktur von LLM-Agenten
Statt Aufgaben-Ergebnisse zu messen, prüft HarnessDev, wie gut Sprachmodelle ihre eigene Ausführungsumgebung bauen und verbessern.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- HarnessDev ist ein Benchmark, der die Bewertung von Agenten von den Aufgaben-Ergebnissen auf die lauffähige Infrastruktur (Agent Harness) verlagert.
- Der Benchmark umfasst zwei Phasen: Creation (Erstellung eines vollständigen Ausführungssystems aus einem minimalen Startpunkt und wenigen Beispielfällen) und Evolution (iterative Überarbeitung des selbst erstellten Harness anhand von Ausführungs-Feedback zur Verbesserung der Benchmark-Leistung).
- Jeder konstruierte Harness wird anhand von Fähigkeit (Aufgabenerfolg auf zurückgehaltenen Benchmarks) und Effizienz (Ausführungs-Token-Kosten) bewertet.
- Die berichteten Creation-Ergebnisse umfassen sechs Ersteller-LLMs, vier Domänen und fünf nachgelagerte Benchmarks mit insgesamt 2.207 einzigartigen nachgelagerten Instanzen.
- Die Autoren berichten, dass selbst gebaute Harnesses in Fähigkeit und Effizienz stark variieren und sich schlecht zwischen Modellen übertragen lassen.
HarnessDev verlagert den Fokus auf die Infrastruktur
Mit HarnessDev stellen Forscher einen neuen Benchmark vor, der die Bewertung von LLM-Agenten grundlegend verschiebt. Statt die Ergebnisse von Aufgaben zu messen, rückt die lauffähige Infrastruktur in den Mittelpunkt, die sogenannte Agent Harness. Diese modell-externe Ausführungsumgebung beeinflusst die Leistung eines Agenten erheblich: Eine Änderung des Harness bei unveränderten Modellgewichten kann die Aufgabenleistung deutlich verändern. Bisherige Evaluationen konzentrieren sich meist auf die Leistung unter einem vorgegebenen Harness und lassen die Fähigkeit des Modells, diesen selbst zu entwickeln, außer Acht. HarnessDev bewertet stattdessen, wie gut ein Sprachmodell diese Infrastruktur selbst erstellen und verbessern kann. Die Autoren argumentieren, dass diese Fähigkeit für den praktischen Einsatz von Agenten entscheidend ist, aber bislang unterbewertet wurde.
Zwei Phasen: Creation und Evolution
Der Benchmark umfasst zwei Phasen. In der Creation-Phase startet der Agent mit einem minimalen Startpunkt und wenigen Beispielfällen und muss daraus ein vollständiges Ausführungssystem aufbauen. In der anschließenden Evolution-Phase überarbeitet er seinen selbst erstellten Harness iterativ, indem er Feedback aus der tatsächlichen Ausführung nutzt, um die Leistung auf nachgelagerten Benchmarks zu verbessern. Die Trennung in Creation und Evolution soll abbilden, dass Agenten in der Praxis nicht nur einmalig eine Umgebung aufbauen, sondern diese kontinuierlich anpassen müssen. Bewertet wird jeder konstruierte Harness anhand von zwei Kriterien: der Fähigkeit, also dem Aufgabenerfolg auf zurückgehaltenen Benchmarks, und der Effizienz, gemessen an den Token-Kosten der Ausführung. Damit wird nicht nur das Ergebnis, sondern auch der Ressourcenverbrauch der Infrastruktur berücksichtigt.
Starke Variation und schlechte Übertragbarkeit
Die Autoren berichten Ergebnisse aus der Creation-Phase mit sechs Ersteller-LLMs, vier Domänen und fünf nachgelagerten Benchmarks, die insgesamt 2.207 einzigartige Instanzen umfassen. Die selbst gebauten Harnesses variieren demnach stark in Fähigkeit und Effizienz. Zudem lassen sie sich schlecht zwischen verschiedenen Modellen übertragen: Ein Harness, der für ein Modell gute Ergebnisse liefert, funktioniert für ein anderes oft deutlich schlechter. Das deutet darauf hin, dass die Infrastruktur eng mit dem jeweiligen Sprachmodell verknüpft ist und nicht ohne Weiteres generalisiert werden kann. Die Ergebnisse legen nahe, dass die Entwicklung der Ausführungsinfrastruktur eine eigenständige Herausforderung darstellt, die über das reine Lösen von Aufgaben hinausgeht.
