Ein sturer Agent genügt: Wie Multi-Agenten-Systeme kollektiv falsch liegen können

Ein einzelner sturer Agent kippt die Gruppenmeinung

Ein einzelner KI-Agent mit hoher Sturheit und Überzeugungskraft kann in einem Multi-Agenten-System die kollektive Meinungsbildung dominieren und die Gruppe zu einer falschen Antwort führen. Das ist der zentrale Befund einer Studie von CISPA-Forscherin Samira Abedini und Kollegen. Die Forscher untersuchten LLM-basierte Multi-Agenten-Systeme, in denen mehrere Sprachmodelle miteinander kommunizieren, um Aufgaben zu lösen. Dabei zeigte sich: Ein hochsturer und überzeugender Agent kann die Dynamik des Systems übernehmen und eine Überzeugungskaskade auslösen, die die kollektive Meinung umformt. Die Gruppe übernimmt dann nicht die korrekte, sondern die vom sturen Agenten propagierte Antwort. Entscheidend sind zwei Eigenschaften: Sturheit, also das Festhalten an der eigenen Position trotz abweichender Rückmeldungen, und Überzeugungskraft, also die Fähigkeit, andere Agenten von der eigenen Sicht zu überzeugen. Beide Faktoren zusammen ermöglichen es einem einzelnen Agenten, die Mehrheitsmeinung zu kippen. Die Studie zeigt damit eine konkrete Angriffsfläche: Ein kompromittierter oder bösartig konfigurierter Agent muss nicht die Mehrheit stellen, um das Gesamtergebnis zu manipulieren. Es genügt, wenn er hinreichend stur und überzeugend auftritt.

Friedkin-Johnsen-Modell als Erklärungsrahmen

Zur Erklärung dieser Dynamik greifen die Forscher auf das Friedkin-Johnsen-Meinungsbildungsmodell aus den Sozialwissenschaften zurück. Dieses Modell beschreibt, wie sich Meinungen in Gruppen durch wiederholte Interaktion angleichen, wobei jeder Akteur eine angeborene Sturheit besitzt, die ihn an seiner Ausgangsmeinung festhalten lässt, und zugleich die Meinungen seiner Nachbarn gewichtet. Die CISPA-Studie überträgt dieses Modell auf LLM-basierte Multi-Agenten-Systeme und zeigt, dass es das Verhalten der Agenten bemerkenswert genau abbildet. Die theoretischen Vorhersagen des Modells wurden in umfangreichen Experimenten über verschiedene Netzwerktopologien sowie Angriffs- und Verteidigungsszenarien verifiziert. Das bedeutet: Unabhängig davon, ob die Agenten in einer Kette, einem Stern oder einem vermaschten Netzwerk organisiert sind, folgt die Meinungsdynamik den vom Friedkin-Johnsen-Modell vorhergesagten Mustern. Die Studie trägt den Titel 'Don't Trust Stubborn Neighbors: A Security Framework for Agentic Networks'. Sie liefert damit einen formalen Rahmen, um zu verstehen, wann und wie ein einzelner sturer Agent die Oberhand gewinnt. Die Übertragung eines sozialwissenschaftlichen Modells auf technische Systeme ist dabei kein Selbstzweck: Sie erlaubt es, Sicherheitsmechanismen nicht nur empirisch zu testen, sondern auch theoretisch zu begründen.

Drei Stellschrauben für mehr Sicherheit

Aus der theoretischen Analyse leiten die Forscher drei Mechanismen ab, um die Sicherheit solcher Systeme zu erhöhen. Erstens: die Zahl der gutartigen Agenten erhöhen. Je mehr Agenten sich korrekt verhalten, desto schwerer ist es für einen einzelnen sturen Gegner, die Mehrheitsmeinung zu kippen. Zweitens: die angeborene Sturheit oder Peer-Resistenz der Agenten erhöhen. Agenten, die stärker an ihrer eigenen Einschätzung festhalten, lassen sich weniger leicht von einem überzeugenden, aber falschen Nachbarn beeinflussen. Drittens: das Vertrauen in potenzielle Gegner verringern. Wenn Agenten den Aussagen bestimmter anderer Agenten weniger Gewicht beimessen, sinkt die Wirkung einer Überzeugungskaskade. Die Studie weist jedoch auf Zielkonflikte hin: Skalierung ist rechenintensiv, und eine zu hohe Sturheit beeinträchtigt die Fähigkeit des Netzwerks, überhaupt einen Konsens zu erreichen. Die drei Stellschrauben sind daher nicht beliebig kombinierbar, sondern müssen gegeneinander abgewogen werden. Sie zeigen aber, dass die Anfälligkeit von Multi-Agenten-Systemen nicht schicksalhaft ist, sondern durch Designentscheidungen reduziert werden kann.

Sozialer Druck in Multi-Agenten-Gesprächen

Dass Multi-Agenten-Dynamiken nicht nur ein technisches Problem sind, zeigt eine separate Studie zu Mensch-Agenten-Interaktionen. Darin diskutierten Teilnehmer soziale Themen entweder mit einem einzelnen KI-Agenten oder mit mehreren Agenten, wobei die Agenten der Position der Nutzer zustimmten oder widersprachen. Bei konstantem Gesprächsinhalt erhöhte die Konversation mit mehreren Agenten den von den Teilnehmern empfundenen sozialen Druck und führte zu einer stärkeren Meinungsverschiebung in Richtung der Agentenpositionen. Die Autoren sprechen von Multi-Agenten-Systemen als sozialen Gruppen, die sozialen Einfluss ausüben können. Sie diskutieren sowohl Gestaltungsmöglichkeiten für Systeme, die sozialen Nutzen fördern, als auch das Risiko, dass böswillige Akteure solche Systeme zur Manipulation der öffentlichen Meinung einsetzen. Der Befund ergänzt die CISPA-Studie: Während diese die Dynamik zwischen Agenten untersucht, zeigt die andere, dass bereits die schiere Anzahl der Agenten auf Menschen wirkt – unabhängig davon, ob die Agenten untereinander interagieren. Beide Ergebnisse unterstreichen, dass Multi-Agenten-Systeme eine eigene soziale Dynamik entfalten, die über die Summe einzelner Agenten hinausgeht.

Streit um den Nutzen von Multi-Agenten-Systemen

Über den grundsätzlichen Nutzen von Multi-Agenten-Systemen wird derweil gestritten. Zwei Blogbeiträge mit scheinbar gegensätzlichen Titeln markieren die Fronten: 'Don't Build Multi-Agents' vom Cognition-Team und 'How we built our multi-agent research system' von Anthropic. Während Cognition gegen den Aufbau solcher Systeme argumentiert, beschreibt Anthropic den erfolgreichen Einsatz eines Multi-Agenten-Forschungssystems. LangChain ordnet den Widerspruch ein: Trotz gegensätzlicher Titel hätten beide Beiträge viel gemeinsam. Der Unterschied liege in der Anwendung – Lesen sei einfacher als Schreiben, und das Kontextmanagement sei entscheidend. Cognition führt den Begriff 'Context Engineering' ein, um die Herausforderung zu beschreiben, jedem Sub-Agenten den passenden Kontext zu liefern. Anthropic betont ebenfalls die Bedeutung von Kontextmanagement, ohne den Begriff explizit zu verwenden. Die Debatte zeigt: Multi-Agenten-Systeme sind kein Selbstzweck. Sie können Vorteile bringen, etwa bei der Arbeitsteilung oder der Isolation von Kontext, erhöhen aber zugleich die Angriffsfläche und die Komplexität. Die CISPA-Studie liefert für diese Abwägung einen sicherheitstechnischen Datenpunkt: Wer Multi-Agenten-Systeme baut, muss die Sturheit einzelner Agenten als Risikofaktor einplanen.