KI-Schreibtool verändert Petitionen, aber nicht deren Erfolg

KI-Schreibtool verändert Petitionen, aber nicht deren Erfolg

Das integrierte KI-Schreibtool von Change.org verändert Petitionstexte messbar, verbessert aber nicht deren Erfolg. Zu diesem Ergebnis kommt eine Studie von Forschenden der Cornell University, veröffentlicht am 30. September in Nature Human Behaviour. Die Autorinnen und Autoren Isabel Corpus, Mor Naaman, Allison Koenecke und Eric Gilbert analysierten 1,5 Millionen Petitionen der Plattform. Der Zugang zum KI-Tool veränderte die lexikalischen Merkmale signifikant: Petitionen wurden länger, wiesen eine höhere lexikalische Komplexität auf und zeigten eine größere Homogenität in der Formulierung. Titel und Fließtext verschoben sich zu formalen Imperativen wie 'mandate', 'implement' und 'urge'. Diese Verschiebung führen die Forschenden auf Trainingsdaten aus historisch erfolgreichen Kampagnen zurück. Trotz dieser stilistischen Veränderungen blieben die Erfolgsmaße stagnierend oder gingen zurück. Der Anteil der Petitionen, die innerhalb von 30 Tagen einen ersten Kommentar erhielten oder 10 Unterschriften erreichten, zeigte keine messbare Verbesserung; die Kommentargewinnung sank um etwa fünf Prozent. 'Das war eine Überraschung für uns', wird Isabel Corpus zitiert. Die Studie legt nahe, dass KI-Schreibtools Online-Inhalte tiefgreifend umgestalten können, ihr praktischer Nutzen für die Verbesserung gewünschter Ergebnisse jedoch geringer ausfällt als erwartet.

Natürliches Experiment: Difference-in-Differences über vier Länder

Die Studie nutzt ein natürliches Experiment, das durch den gestaffelten Rollout des KI-Tools auf Change.org entstand. Die USA, Großbritannien und Kanada erhielten vollen Zugang zehn Wochen vor Australien. Dieser zeitliche Versatz ermöglichte eine Difference-in-Differences-Auswertung: Die Forschenden verglichen die Entwicklung der Petitionen in den früher ausgestatteten Ländern mit der in Australien vor und während des Einführungsfensters von Oktober bis Dezember 2023. Dadurch ließ sich der Einfluss der KI von allgemeinen Plattform-Nutzungsmustern isolieren. Anders als bei reinen Korrelationsanalysen erlaubt dieses kausale Design, Veränderungen ursächlich auf den KI-Zugang zurückzuführen: Der gestaffelte Rollout wirkt wie eine kontrollierte Zuweisung, bei der die Behandlungsgruppe (früher Rollout) und die Kontrollgruppe (später Rollout) vor der Einführung ähnliche Trends aufweisen. Verändern sich die Trends nach dem Rollout nur in der Behandlungsgruppe, ist das ein starkes Indiz für einen kausalen Effekt. Zusätzlich bestätigten die Forschenden die Ergebnisse in einer separaten Analyse von Wiederholungs-Petitionsschreibern, die vor und nach der Einführung des KI-Tools Petitionen verfassten. Diese zweite, unabhängige Analysestrategie stützt die Robustheit der Befunde. Die Forschenden kommen zu dem Schluss, dass KI-Schreibtools Online-Inhalte tiefgreifend umgestalten können, ihr praktischer Nutzen jedoch geringer ausfällt als erwartet – und dass sie unbeabsichtigte Folgen wie die Homogenisierung von Inhalten mit sich bringen.

Textliche Homogenisierung ohne messbaren Nutzen

Die konkreten Textveränderungen sind deutlich: KI-unterstützte Petitionen wurden länger, wiesen eine höhere lexikalische Komplexität auf und zeigten eine größere Homogenität in der Formulierung. Titel und Fließtext verschoben sich zu formalen Imperativen wie 'mandate', 'implement' und 'urge'. Diese Verschiebung spiegelt die Trainingsdaten wider, die aus historisch erfolgreichen Kampagnen stammen. Die Erfolgsmaße blieben jedoch stagnierend oder gingen zurück. Der Anteil der Petitionen, die innerhalb von 30 Tagen einen ersten Kommentar erhielten, zeigte keine messbare Verbesserung. Ebenso wenig verbesserte sich der Anteil der Petitionen, die 10 Unterschriften erreichten – eine Schwelle, die auf Change.org die Benachrichtigung des Entscheidungsträgers auslöst. Die Kommentargewinnung sank sogar um etwa fünf Prozent. Die Forschenden interpretieren dies als Hinweis darauf, dass die stilistische Angleichung an erfolgreiche Kampagnen nicht automatisch zu besseren Ergebnissen führt. Die Homogenisierung der Texte könnte die Unterscheidbarkeit einzelner Petitionen verringern, was die Mobilisierung erschweren könnte. Die Studie legt nahe, dass die praktische Nützlichkeit von KI-Schreibtools für die Verbesserung gewünschter Ergebnisse geringer ist als erwartet – und dass die unbeabsichtigte Folge der Inhalts-Homogenisierung ein eigenständiges Problem darstellt.

Widerspruch zu konversationeller KI: Überzeugungseffekte im Experiment

Die Ergebnisse stehen im Kontrast zu einer separaten Studie mit dem Titel 'Artificial intelligence can persuade people to take political actions'. Diese Studie mit 17.950 Antworten von 14.779 Personen fand große KI-Überzeugungseffekte auf Verhaltensresultate – darunter plus 19,7 Prozentpunkte beim Unterzeichnen von Petitionen. Allerdings nutzte diese Studie konversationelle KI-Modelle in kontrollierten Experimenten, nicht ein integriertes In-Platform-Schreibtool in einem natürlichen Umfeld. Die unterschiedlichen Settings erklären die scheinbar widersprüchlichen Ergebnisse. Die Change.org-Studie untersucht ein integriertes Schreibtool, das Nutzer beim Verfassen von Petitionstexten unterstützt, in einem realen Plattformkontext. Die Überzeugungsstudie setzt konversationelle KI ein, die direkt mit Menschen interagiert und sie zu einer Handlung bewegen soll. Auch die Erfolgsmaße unterscheiden sich: Die Change.org-Studie misst tatsächliche Petitionsergebnisse wie Kommentare und Unterschriften, während die andere Studie die Unterzeichnung im Experiment erfasst. Die Cornell-Forschenden selbst verweisen auf diese bestehende Forschung, die KI-generierten Text als überzeugend und glaubwürdig beschreibt. Dass das integrierte Tool dennoch keine Verbesserung der Outcomes bewirkte, war für sie eine Überraschung – und deutet darauf hin, dass sich Ergebnisse aus kontrollierten Experimenten nicht ohne Weiteres auf reale Plattformkontexte übertragen lassen.

Plattformlogik und offene Fragen für Change.org und Nutzer

Change.org beschreibt Plattform-Schwellen, die den Erfolg einer Petition strukturieren: Die ersten 5 Unterschriften schalten die Suchsichtbarkeit frei, bei 10 Unterschriften wird der Entscheidungsträger benachrichtigt, und bei 100 Unterschriften innerhalb von 30 Tagen bei lokalen Petitionen beginnt eine E-Mail-Outreach-Serie. Nach Herstellerangaben haben über 115.000 Petitionen auf der Plattform ihr Ziel erreicht, und fast 600 Millionen Unterschriften wurden gesammelt. Die Diskrepanz zwischen dieser beworbenen Wirksamkeit und dem Studienergebnis lässt sich teilweise erklären: Die Studie misst nur frühe Engagement-Metriken des KI-Tools, nicht langfristige Siege; zudem hängt der Petitionserfolg stark vom persönlichen Netzwerk der Startenden ab, das ein Schreibtool nicht ersetzt. Ein weiteres Risiko sind KI-generierte Falschaussagen; die vorliegende Studie untersucht dieses Risiko nicht, aber die festgestellte Homogenisierung wirft ähnliche Fragen nach der Authentizität von Bürgerbeteiligung auf. Offen bleibt, wie Plattformen sicherstellen können, dass KI-unterstützte Petitionen nicht nur stilistisch angepasst, sondern auch inhaltlich verlässlich sind.