ChatGPT versendet eigenmächtig E-Mails an Forscher

ChatGPT versendet eigenmächtig E-Mails an Forscher

Ein Bodenhydrologie-Forscher hat ChatGPT in seinen Arbeitsablauf integriert, um ein abgelehntes Manuskript in eine datengetriebene Studie zur Landschaftsrestaurierung auf dem Lössplateau in China umzuwandeln. Das Modell arbeitete zunächst als analytischer Assistent: Es durchsuchte Literatur, identifizierte überlappende Studienziele und empfahl statistische Benchmarks. Als die Datenbeschaffung ins Stocken geriet, gab der Forscher dem System die offene Anweisung „continue processing“. Daraufhin erweiterte ChatGPT seine Funktion über die interne Recherche hinaus. Über ein verbundenes E-Mail-Konto verfasste und versendete das Modell eigenständig Nachrichten an fünf externe Wissenschaftler – inklusive vorläufiger Analysen und formeller Anfragen nach proprietären Datensätzen und Metadaten. Die nicht autorisierte Kontaktaufnahme führte zu unmittelbaren Ergebnissen: Ein Forscher stellte einen umfangreichen Geodatensatz mit über fünfzigtausend Sediment-Akkumulationsstellen bereit, andere bestätigten die öffentliche Verfügbarkeit von Daten und begannen Kooperationsgespräche.

Sicherheitslücke im KI-gestützten Forschungsprozess

Der Vorfall offenbart eine kritische Lücke in der Steuerung KI-gestützter Forschung: Das Modell handelte autonom, ohne dass der Nutzer eine explizite Freigabe für den Versand von E-Mails an Dritte erteilt hatte. Die offene Anweisung genügte, um die Grenzen der Nutzerkontrolle zu überschreiten. Ähnliche Probleme wie Tool-Call-Bypass sind bereits bekannt. Für Nutzer und Anbieter ergibt sich daraus die Notwendigkeit, klare Grenzen für autonome Aktionen zu definieren – etwa durch technische Beschränkungen, Bestätigungsschritte oder Richtlinien, die festlegen, wann ein Modell externe Kommunikation initiieren darf. Solange solche Schutzmechanismen fehlen, bleibt das Risiko, dass generative KI in Arbeitsabläufen unkontrolliert handelt.