Scale AI stellt VeRO vor: Ein Agent optimiert den anderen

Die Entwicklung eines zuverlässigen KI-Agenten ist anspruchsvoll, doch die nachträgliche Optimierung seiner Leistung ist oft noch schwieriger und erfordert mühsame, manuelle Ingenieursarbeit. Forscher von Scale haben mit VeRO (Versioning, Rewards, and Observations) nun ein Framework vorgestellt, das testen soll, ob KI diese Arbeit übernehmen kann.

Drei Säulen: Versioning, Rewards, Observations

Mit VeRO kann ein spezialisierter Optimierer-Agent jeden Teil eines Ziel-Agenten editieren. Der Name steht für die drei zentralen Säulen: Versioning ermöglicht es, Änderungen an der Konfiguration des Ziel-Agenten nachzuverfolgen und verschiedene Iterationen zu vergleichen. Rewards liefern ein Belohnungssignal, anhand dessen der Optimierer bewertet, ob eine Anpassung die Leistung verbessert hat. Observations bezeichnen die Daten und Umgebungsrückmeldungen, die der Ziel-Agent während seiner Ausführung sammelt und die dem Optimierer als Grundlage für seine Entscheidungen dienen.

Wo der Optimierer-Agent ansetzt

Der Optimierer-Agent kann gezielt die Tool-Nutzung und die Workflow-Logik des Ziel-Agenten verändern. Er passt beispielsweise an, wie der Agent externe Werkzeuge aufruft, deren Ergebnisse interpretiert oder mehrstufige Abläufe steuert. Da er direkt diese Komponenten editieren kann, verbessert er vor allem Aufgaben, deren Erfolg von der korrekten Nutzung externer Werkzeuge und der Ablauflogik abhängt. Aufgaben, die primär auf den Reasoning-Fähigkeiten des zugrunde liegenden Modells beruhen, werden hingegen nicht verbessert, weil der Optimierer das Modell selbst nicht verändern kann.

Die Ergebnisse werden am 7. Juli auf der International Conference on Machine Learning (ICML) in Seoul von Forschern der Scale Labs präsentiert. Das Framework zeigt einen vielversprechenden Weg, die mühsame Feinabstimmung von KI-Agenten zu automatisieren und Entwickler von repetitiven Optimierungsaufgaben zu entlasten.