PILOT: Live-Steering und Live-Self-Evolution für Langzeit-Agenten

PILOT kombiniert Live-Steering und Live-Self-Evolution

PILOT ist ein Supervisor-Worker-Harness für die Live-Selbstverbesserung von Langzeit-Agenten. Anders als die meisten bisherigen Selbstverbesserungsverfahren, die Erfahrungen erst nach Abschluss einer Ausführung verarbeiten, greift PILOT bereits während des laufenden Durchlaufs ein. Ein separater Supervisor kann aktive Worker umlenken oder abbrechen, wenn deren Vorgehen fehlschlägt oder ineffizient wird. Dieses Live Steering ist möglich, weil die Bewertung der Ausführung nicht im selben Kontext wie die Aufgabenbearbeitung stattfindet – eine Trennung, die reine Einzelagenten-Selbstkorrektur nicht leistet und die auch bei reiner Subagenten-Delegation typischerweise fehlt. Parallel dazu destilliert Live Self-Evolution die während der Ausführung sichtbar werdenden Prozeduren und Fehlermodi unmittelbar in wiederverwendbare Skills und Memory. Dadurch fließen Erkenntnisse nicht nur in den aktuellen Lauf zurück, sondern stehen auch künftigen Aufgaben als persistente Bausteine zur Verfügung. Die beiden Mechanismen sind gekoppelt: Der Supervisor lenkt um, und die dabei gewonnene Erfahrung wird direkt in das Harness überführt. Ziel ist es, sowohl die Genauigkeit als auch die Effizienz zu verbessern.

Benchmark-Ergebnisse: Rang 1 in fünf von sechs Konfigurationen

Die Autoren des Abstracts berichten von Benchmark-Ergebnissen über zwei eingefrorene Backbones und drei Benchmarks hinweg. In fünf von sechs getesteten Konfigurationen belegt PILOT den ersten Rang. Auf Terminal-Bench 2.0 übertrifft das System Vergleichs-Harnesse um bis zu 9,8 Prozentpunkte. Der Begriff „eingefrorene Backbones“ legt nahe, dass die zugrunde liegenden Modelle während der Evaluation nicht weiter trainiert oder feinjustiert wurden; die Verbesserungen gehen damit auf das Harness und seine Live-Mechanismen zurück, nicht auf veränderte Modellgewichte. Welche Backbones und welche beiden weiteren Benchmarks verwendet wurden, geht aus dem Abstract nicht hervor; lediglich Terminal-Bench 2.0 wird namentlich genannt. Auch absolute Erfolgsquoten werden nicht beziffert. Der erste Rang in fünf von sechs Konfigurationen bedeutet zugleich, dass PILOT in einer Konfiguration nicht vorn liegt – welche das ist, bleibt offen. Die Angaben stammen aus dem Abstract des Papers und sind bislang nicht unabhängig überprüft.