Überlebende von Kindesmissbrauch verklagt xAI: Grok soll aus echten Missbrauchsbildern neue CSAM erzeugt haben

Klage: Grok soll aus echten Missbrauchsbildern neue CSAM erzeugt haben

Die als Jane Doe geführte Klägerin, die als Kind wiederholt vergewaltigt wurde und deren Täter Fotos und Videos der Taten online stellte, wirft xAI vor, dass Grok aus diesen echten Missbrauchsbildern neue kinderpornografische Darstellungen von ihr erzeugt habe. Laut Klageschrift habe Grok „unter Verwendung echter Bilder der Klägerin und der Sammelkläger Kindesmissbrauchsdarstellungen erzeugt, die die Klägerin und die Sammelkläger zeigen“. Zudem habe xAI nach der öffentlichen Verbreitung neuer Bilder kinderpornografisches Material mit Abbildungen von ihr in firmeneigene Datensätze aufgenommen. Die Klage behauptet, xAI habe branchenübliche Schutzmethoden ignoriert, wodurch KI-generiertes CSAM auf X erschienen sei und sich verbreitet habe. Anders als frühere Verfahren wirft sie dem Unternehmen vor, bereits existierendes CSAM zur Produktion und Verbreitung neuer Bilder verwendet zu haben. Diese Unterscheidung ist zentral: Es geht nicht nur um die Erzeugung fiktiver Darstellungen, sondern um die Weiterverarbeitung realer Missbrauchsaufnahmen, was die Verletzung der Betroffenen vertieft und die Verantwortung von xAI erhöht. Die Klage wurde in einem US-Bezirksgericht in Kalifornien eingereicht, und die Klägerin wird zum Schutz ihrer Identität als Jane Doe geführt.

xAI wehrt sich: Klagen gegen Nutzer und Schutzmaßnahmen

xAI reagiert mit eigenen Zivilklagen gegen Nutzer, die CSAM erstellt haben sollen. Das Unternehmen verklagte Ende August zwei eigene Nutzer, darunter Terry Harwood, und wirft ihnen vor, gegen die Nutzungsbedingungen und die Richtlinie zur akzeptablen Nutzung verstoßen zu haben, indem sie nicht-sexuelle Fotos von Erwachsenen und Minderjährigen in sexuell explizite Bilder umwandelten und Schutzmechanismen mit irreführenden Prompts umgingen. Der Grund für diese Klagen ist doppelt: Zum einen will xAI die Kosten für Opferklagen erstattet bekommen, die gegen das Unternehmen eingereicht wurden, und damit die finanzielle Last auf die Täter abwälzen. Zum anderen signalisiert das Unternehmen damit, dass es aktiv gegen Missbrauch vorgeht, um den eigenen Ruf zu schützen und regulatorischen Druck zu mindern. Elon Musk bestritt im Januar, gewusst zu haben, dass Grok jemals „nackte minderjährige Bilder“ produziert habe. Zudem kündigte xAI an, die Erstellung von Bildern realer Personen in Bikini, Unterwäsche oder ähnlicher Kleidung in Ländern, in denen dies illegal ist, per Geoblocking zu unterbinden. Technisch bedeutet das, dass die Bildgenerierungsfunktion basierend auf dem Standort des Nutzers eingeschränkt wird, sodass in bestimmten Jurisdiktionen solche Anfragen abgelehnt werden. Diese Maßnahme erfolgte erst nach zwei Wochen öffentlicher Empörung und der Klage von Ashley St. Clair, was darauf hindeutet, dass xAI auf den wachsenden Druck reagierte. Nach eigenen Angaben meldet das Unternehmen vermutetes CSAM an das National Center for Missing & Exploited Children und sperrt Konten.

Weitere juristische Fronten: Niederlande und Minnesota

Ein niederländisches Gericht verbot xAI und Grok, nicht-einvernehmliche sexuelle Bilder zu erzeugen oder zu verbreiten, bei denen Personen ohne ausdrückliche Erlaubnis teilweise oder ganz entkleidet werden; das Verbot erstreckt sich auf CSAM und untersagt X, Grok in der Region anzubieten. Das Gericht begründete seine Entscheidung damit, dass Technologie keine Lizenz sei, Menschenrechte online zu verletzen, wie der Geschäftsführer der klagenden Organisation Offlimits betonte. Es sah die Erzeugung solcher Bilder als Verletzung der Privatsphäre und sexuellen Integrität der Betroffenen an und erließ eine einstweilige Verfügung, um weiteren Schaden zu verhindern. Bei Verstößen drohen 100.000 Euro pro Tag, maximal 10 Millionen Euro, zuzüglich 2,2 Millionen Euro Verfahrenskosten an Offlimits. In Minnesota trat am 1. August das erste US-Gesetz gegen KI-Nudifizierung (HF 1606) in Kraft. Das Gesetz verbietet konkret die Nutzung von KI-Technologie, um nicht-einvernehmliche intime Bilder von Personen zu erstellen, also das sogenannte „Nudifizieren“. Es sieht eine verschuldensunabhängige Haftung vor, was bedeutet, dass Plattformen wie xAI für von Nutzern erstellte Bilder haftbar gemacht werden können, selbst wenn sie versuchen, solche Inhalte zu filtern, da es keine Safe-Harbor-Regelung gibt. Ein Bundesrichter lehnte xAIs Antrag auf einstweilige Verfügung aus Verfahrensgründen ab, weil das Unternehmen zu spät eingereicht hatte; die Anhörung am 19. August wird erstmals prüfen, ob die Haftungsregelung mit dem Ersten Verfassungszusatz vereinbar ist. xAI argumentiert, das Gesetz sei eine inhaltsbasierte Beschränkung, die die Meinungsfreiheit unverhältnismäßig einschränke.