AgentGrad: Neues Framework für Prompt-Optimierung in Multi-Agenten-LLMs

AgentGrad: Neues Framework für Prompt-Optimierung in Multi-Agenten-LLMs

AgentGrad ist ein neues Framework zur Prompt-Optimierung in Multi-Agenten-Systemen, die auf großen Sprachmodellen (LLMs) basieren. Wie aus der Veröffentlichung hervorgeht, hängt die Leistung solcher Systeme von der Prompt-Gestaltung jedes einzelnen Agenten ab. Textuelle Gradientenmethoden, die Prompt-Updates mithilfe von natürlichsprachlichem Feedback steuern, gelten dabei als führendes Paradigma. AgentGrad basiert auf zwei Kernkomponenten: sequenzieller Intervention und semantischer textueller Gradientenabstraktion. Die sequenzielle Intervention bedeutet, dass für jeden Fehler das Verhalten jeweils eines Agenten modifiziert wird, um den Ziel-Agenten zu identifizieren, dessen Verhaltensänderung den Fehler behebt. Technisch wird dabei ein Agent nach dem anderen angepasst und jeweils geprüft, ob die Modifikation den Fehler auflöst. Die semantische textuelle Gradientenabstraktion bedeutet, dass die aus den Fehlern abgeleiteten Gradienten nicht zufällig, sondern nach semantischer Ähnlichkeit gruppiert werden. Dadurch werden unzusammenhängende Fehlermodi getrennt behandelt, statt sie in einem gemeinsamen Prompt-Update zu vermischen. AgentGrad wurde vorgeschlagen, um zwei identifizierte Limitationen bisheriger textueller Gradientenansätze zu beheben: eine Gradientenextraktion ohne Verifikation und ohne Agenten-Supervision sowie eine zufällige Gradientenaggregation, die unzusammenhängende Fehlermodi vermischt.

Zwei Schwächen bisheriger Methoden und AgentGrads Lösungsansatz

Die erste Schwäche betrifft die Gradientenextraktion. Bisherige Ansätze wählen einen Ziel-Prompt aus, ohne zu prüfen, ob dessen Änderung den Fehler tatsächlich behebt. Das bedeutet: Es wird nicht verifiziert, dass die Modifikation des ausgewählten Prompts den Fehler ursächlich beseitigt. Zudem werden Gradienten ohne Agenten-Supervision über die Zwischenausgabe des entsprechenden Agenten abgeleitet. Dadurch fehlt eine Kontrolle darüber, ob die Verhaltensänderung des Agenten tatsächlich den Fehler behebt – die Änderung kann am falschen Agenten ansetzen oder wirkungslos bleiben. Die zweite Schwäche liegt in der Gradientenaggregation: Einzelne Gradienten werden zufällig gruppiert und konkateniert. Dadurch vermischen sich unzusammenhängende Fehlermodi, und es entstehen Prompts, die schlecht generalisieren, weil sie widersprüchliche oder nicht zusammenhängende Korrekturen kombinieren.

AgentGrad behebt diese Probleme durch zwei Mechanismen. Erstens modifiziert die sequenzielle Intervention für jeden Fehler das Verhalten jeweils eines Agenten, um den Ziel-Agenten zu identifizieren, dessen Modifikation den Fehler behebt. Praktisch läuft dies als schrittweiser Prozess ab: Für einen gegebenen Fehler wird nacheinander jeweils ein einzelner Agent im System modifiziert, während die übrigen Agenten unverändert bleiben. Nach jeder Modifikation wird geprüft, ob der Fehler behoben ist. Das Auswahlkriterium für den Ziel-Agenten ist, dass dessen Verhaltensänderung den Fehler tatsächlich auflöst. So wird sichergestellt, dass die Änderung am richtigen Agenten ansetzt und nicht an einem Agenten, dessen Modifikation den Fehler nicht behebt. Zweitens gruppiert AgentGrad Gradienten semantisch, statt sie zufällig zu konkatenieren. Das verhindert, dass unzusammenhängende Fehler vermischt werden, und soll zu Prompts führen, die besser generalisieren, weil ähnliche Fehlermodi gemeinsam behandelt werden.