DeepMind und Singapur wollen Betrugsnachrichten direkt auf dem Smartphone erkennen

DeepMind und GovTech Singapur wollen Betrugsnachrichten direkt auf dem Gerät erkennen

Google DeepMind und die Technologiebehörde GovTech Singapur entwickeln gemeinsam eine Echtzeiterkennung von KI-gestütztem Betrug auf Geräten. Josephine Teo, Ministerin für Digitalentwicklung und Information und zugleich zuständig für Cybersicherheit und Smart Nation, kündigte das Vorhaben auf der Singapore International Cyber Week an. Die Technik soll Manipulationsversuche früh erkennen, damit Betroffene weder Geld noch Zugangsdaten verlieren. Persönliche Nachrichten bleiben dabei auf den Geräten, sagte Teo.

Den Kampf gegen Betrug sieht Teo durch KI als „harder to win“. Sie fordert, die Abwehr nicht aufzugeben, weil Kriminelle KI missbrauchen, sondern sie zu verbessern. Schutzmaßnahmen verschiedener Organisationen müssten enger verknüpft werden. Ein Betrug könne in sozialen Medien beginnen, im Messenger weiterlaufen, per Anruf fortgesetzt werden und mit einer Überweisung enden. Jede Etappe biete eine Chance zum Eingreifen. Doch kein einzelner Akteur sehe die ganze Kette.

Laut der Wiedergabe einer CNA-Meldung durch ua.news setzen GovTech und die Singapurer Polizei bereits das Scam Analytics and Tactical Intervention System ein. Es prüfe täglich mehr als 600.000 Websites und bekämpfe monatlich rund 20.000 bösartige Seiten.

Ein leichter Klassifikator filtert vor, ein feinabgestimmtes Gemma-Modell prüft den Kontext

Laut DeepMind arbeitet das System zweistufig. Die erste Stufe ist ein leichter, stromsparender Klassifikator. Er filtert eingehende Nachrichten vor und fischt mögliche Bedrohungen heraus. Die zweite Stufe analysiert mit einem feinabgestimmten Gemma-Modell einen größeren Ausschnitt der Unterhaltung. Sie bestätigt die Bedrohung oder verwirft den Fehlalarm. So spart der Aufbau Rechenaufwand: Das größere Modell läuft nur bei Verdachtsfällen.

Das Fine-Tuning fand laut DeepMind in einer von GovTech betriebenen GCP-Umgebung namens „Sovereign Sandbox“ statt, damit die Trainingsdaten isoliert bleiben. Private oder personenbezogene Daten von Bürgern seien nicht verwendet worden. Stattdessen habe man anonymisierte Datensätze aus Betrugsmeldungen und Intelligence-Feeds genutzt. Getestet habe man mit synthetischen Dialogen und lokalen Korpora, um verschiedene Betrugskategorien und sich wandelnde Imitationstaktiken abzudecken.

Messenger und Betriebssysteme sollen die Modelle direkt einbauen können

Laut DeepMind sollen Messenger-Plattformen und Betriebssystemhersteller die leichten Modelle direkt integrieren können, um Nutzer lokal zu schützen, ohne Chat-Inhalte preiszugeben. Das sei der vorgesehene Weg. Außerdem zeige das Projekt, dass sich Schutz und Privatsphäre bei lokal laufender Schutz-KI nicht gegeneinander ausspielen ließen. Das ist die Darstellung des Herstellers.

Einen ähnlichen Ansatz testet Meta. WhatsApp erprobt in einer limitierten Beta die optionale Funktion „Scam Alert“. Ein kompaktes ML-Modell analysiert Nachrichten unbekannter Absender lokal auf dem Gerät. Laut Meta verlässt kein Inhalt das Gerät, und nichts wird automatisch gemeldet. Die Warnung sieht nur der Empfänger. Er kann den Absender blockieren, melden oder weiterchatten.

Name, Zeitplan und Rollout-Stand sind nicht bekannt, eine unabhängige Prüfung fehlt

Offen bleiben der Name des Tools, ein Zeitplan und die Frage, ob es sich um einen Pilot oder um Produktivbetrieb handelt. Die Aussagen zu Wirksamkeit und Datenschutz stammen von DeepMind selbst. Prüfbar werden sie erst durch eine unabhängige Sicherheits- und Datenschutzprüfung. Ebenso nötig wäre die Offenlegung von Architektur, Modellgröße, Datenflüssen und Evaluationsergebnissen.