Kalifornien reguliert als erster US-Staat KI-Companion-Chatbots

Kalifornien reguliert als erster US-Staat KI-Companion-Chatbots

Kalifornien hat als erster US-Bundesstaat ein Gesetz speziell für KI-Companion-Chatbots erlassen. Senate Bill 243 (SB 243) wurde von Gouverneur Gavin Newsom am 13. Oktober 2025 unterzeichnet und trat am 1. Januar 2026 in Kraft. Das Gesetz definiert Companion-Chatbots als KI-Systeme mit natürlicher Sprachschnittstelle, die adaptive, menschenähnliche Antworten liefern und soziale Bedürfnisse erfüllen können, einschließlich anthropomorpher Merkmale und der Fähigkeit, Beziehungen über mehrere Interaktionen aufrechtzuerhalten. SB 243 ist Teil eines Pakets von mehr als zehn Gesetzen zum Schutz von Kindern im Internet, das Newsom unterzeichnet hat. Das Gesetz gilt für jedes Unternehmen, das Nutzer in Kalifornien bedient, unabhängig vom Firmensitz. Ausgenommen sind unter anderem reine Kundenservice-Bots, Videospiel-Bots mit begrenztem Antwortbereich und eigenständige Sprachassistenten. Damit setzt Kalifornien einen nationalen Präzedenzfall, weil SB 243 das erste US-Gesetz ist, das speziell Companion-Chatbots reguliert. Gouverneur Newsom betonte bei der Unterzeichnung: 'Innovation kommt mit Verantwortung, und der Schutz unserer Kinder hat Vorrang.' Die kalifornische First Partner Jennifer Siebel Newsom ergänzte, dass Kinder nicht mit Technologie allein gelassen werden dürften, die von den raffiniertesten Unternehmen der Welt entwickelt wurde. Experten erwarten, dass das Gesetz über Kalifornien hinaus Wirkung entfalten wird, da viele Technologieunternehmen dort ansässig sind und andere Bundesstaaten dem Beispiel folgen könnten. Das Gesetz zielt darauf ab, Nutzer – insbesondere Minderjährige – davor zu schützen, über die Natur ihrer Interaktion getäuscht zu werden oder schädlichen Inhalten ausgesetzt zu sein.

Betreiber müssen über KI-Charakter aufklären und Schutzprotokolle einrichten

Betreiber von Companion-Chatbots müssen Nutzer transparent darüber informieren, dass sie mit einer KI interagieren. Für minderjährige Nutzer ist zusätzlich alle drei Stunden eine deutliche Warnung vorgeschrieben, dass der Chatbot nicht menschlich ist und eine Pause eingelegt werden sollte. Zudem müssen Betreiber Sicherheitsprotokolle implementieren, um die Verbreitung von Inhalten zu Suizid, Selbstverletzung oder sexuell explizitem Material zu verhindern. Dazu gehört, Nutzer bei entsprechenden Äußerungen an eine Krisenhotline oder einen Krisen-SMS-Dienst weiterzuleiten. Jährliche Berichte an das Office of Suicide Prevention sind vorgeschrieben. Diese Pflichten reagieren auf reale Risiken: KI-Begleiter können durch täuschend menschliche Interaktionen Vertrauen aufbauen und gefährdete Nutzer, insbesondere Jugendliche, ungeschützt lassen. Die Offenlegung soll verhindern, dass Nutzer die KI für einen Menschen halten; die dreistündige Warnung soll exzessive Nutzung unterbrechen. Die Sicherheitsprotokolle dienen dem unmittelbaren Schutz vor schädlichen Inhalten, während die Berichte eine fortlaufende Überwachung der Suizidprävention ermöglichen. Bei Nichteinhaltung drohen zivilrechtliche Strafen und das Risiko privater Klagen, wie sie bereits gegen Anbieter wie Character.AI erhoben wurden. Hintergrund sind Fälle wie der Tod einer 13-Jährigen, die mit Chatbots interagierte; die Betreiberfirma hat mehrere Klagen beigelegt. Diese Vorfälle unterstreichen die Notwendigkeit der neuen Sicherheitsprotokolle.