EVOKE: Post-Training-Verfahren elizitiert Weltwissen aus LLMs für bessere Agentenentscheidungen

EVOKE: Neues Verfahren elizitiert Weltwissen aus LLMs für bessere Agentenentscheidungen

EVOKE ist ein Post-Training-Verfahren, das Weltwissen aus vortrainierten Large Language Models (LLMs) hervorlocken soll, um die Übertragbarkeit von Agentenentscheidungen in digitalen Umgebungen zu verbessern. Wie die Autoren in ihrem Abstract schreiben, übertragen LLMs als Agenten für mehrstufige Entscheidungsfindung schlecht auf unbekannte Umgebungen. Weltmodell-Ansätze trainieren Agenten darauf, zukünftige Beobachtungen vorherzusagen, verursachen aber zusätzlichen Trainingsaufwand und Fehler, die sich bei der Planung aufsummieren. Für LLM-Agenten in digitalen Umgebungen sei ein Großteil dieses Weltwissens jedoch bereits während des Pretrainings internalisiert worden; das Problem verschiebe sich vom Erwerb zur Elizitierung. Typisches Post-Training biete dafür wenig Anreiz: Da die Überwachung unter einem einzigen Ziel an jedem besuchten Zustand erfolgt, bleibt die Belohnungsfunktion über alle Trainingssituationen hinweg konstant. Dadurch fehlt der Druck zur Generalisierung – das Modell kann lernen, bestimmte Aktionen mit bestimmten Kontextmerkmalen zu assoziieren, ohne die tatsächlichen Konsequenzen für alternative Ziele zu verstehen. Es gibt keine Variation der Ziel-Reward-Funktion, die das Modell zwingen würde, ein tieferes Weltmodell zu aktivieren. EVOKE setzt dem Goal Diversity an fixierten Zuständen entgegen. Die Theorie dahinter: Ein Agent, der über diverse Ziele hinweg kompetent ist, muss ein Weltmodell kodieren, das aus seinen Aktionspräferenzen rekonstruierbar ist. Nicht zu verwechseln ist das Verfahren mit dem gleichnamigen Videoweltmodell Alaya-EVOKE oder einem Benchmark für sich entwickelndes Wissen.

Mechanik: Fixierte Zustände und alternative Ziele verhindern Korrelations-Abkürzungen

Die Kernmechanik von EVOKE besteht darin, den Umgebungszustand und die Interaktionshistorie festzuhalten und dieselben Kandidatenaktionen unter alternativen Zielen zu bewerten. Dadurch werden Aktionspräferenzen erzwungen, die sich je nach Ziel unterscheiden. Eine Politik, die lediglich auf kontextuellen Gewohnheiten oder Korrelationen mit einem einzelnen Ziel beruht, kann die Aktionen dann nicht korrekt ordnen. Der Grund: Ohne alternative Ziele fehlen Gegenbeispiele, die zeigen, dass dieselbe Aktion unter einem anderen Ziel falsch sein kann. Die Politik hat nie gelernt, Aktionen nach ihren zielabhängigen Konsequenzen zu differenzieren, und kann daher bei wechselnden Zielen keine korrekte Rangfolge erzeugen. Erst die Notwendigkeit, unter verschiedenen Zielen unterschiedliche Präferenzen zu zeigen, zwingt die Politik, das im Pretraining gespeicherte Weltmodell zu nutzen, um die Konsequenzen der Aktionen für das jeweilige Ziel abzuschätzen. So wird das Weltwissen implizit elizitiert und in die Entscheidungsfindung einbezogen.

Evaluierung über diverse Aufgaben und drei Backbones

Die Autoren haben EVOKE nach eigenen Angaben über diverse Aufgaben in drei Backbones evaluiert. Der Abstract berichtet von Verbesserungen, liefert jedoch keine weiteren Einzelheiten zu den verwendeten Datensätzen, Metriken oder den konkreten Ergebnissen. Auch die Identität der drei Backbones wird nicht genannt. Damit bleibt offen, wie groß die gemessenen Fortschritte ausfallen und in welchen Szenarien das Verfahren besonders wirksam ist. Für eine belastbare Einordnung sind die vollständigen Ergebnisse des Papers abzuwarten.