KI SpotlightNewsStudie: Kurze Sicherheitserinnerung senkt schädliche KI-Entscheidungen um 6,5 Prozentpunkte
Forscher der Icahn School of Medicine at Mount Sinai werteten über zehn Millionen Antworten von 20 Sprachmodellen aus.
Mit KI erstellt◆ Fakten auf einen Blick
- Die Studie wurde von Forschern der Icahn School of Medicine at Mount Sinai durchgeführt und am 26. September in Communications Medicine veröffentlicht.
- Es wurden 20 große Sprachmodelle getestet.
- Es wurden 501 Variationen von 50 klinischen Szenarien sowie 100 Fälle aus deidentifizierten Krankenhausentlassungsunterlagen verwendet.
- Über 10 Millionen Antworten wurden analysiert, wobei etwa 1,18 Millionen potenziell schädliche klinische Entscheidungen auftraten.
- Ohne Sicherheitserinnerung betrug der Anteil potenziell schädlicher Entscheidungen 16,6%; mit kurzer Sicherheitserinnerung sank er auf 10,1%.
- Die Reduktion wurde bei 19 von 20 getesteten Modellen beobachtet.
Safety-Prompt reduziert schädliche KI-Entscheidungen um 6,5 Punkte
Eine Studie der Icahn School of Medicine at Mount Sinai zeigt, dass eine kurze Sicherheitserinnerung im Prompt die Rate potenziell schädlicher klinischer Entscheidungen großer Sprachmodelle signifikant senkt. Die am 26. September in Communications Medicine veröffentlichte Untersuchung bewertete die Sicherheit und Zuverlässigkeit generativer KI im Gesundheitswesen und wertete über zehn Millionen Antworten von 20 großen Sprachmodellen aus. Ohne Sicherheitserinnerung betrug der Anteil potenziell schädlicher Entscheidungen 16,6 Prozent; mit einer knappen Erinnerung sank er auf 10,1 Prozent – eine Reduktion um 6,5 Prozentpunkte. Insgesamt identifizierten die Forscher rund 1,18 Millionen potenziell schädliche klinische Entscheidungen in den Modellantworten. Die Ergebnisse deuten darauf hin, dass selbst einfache Hinweise im Kontext die Sicherheit von KI-Empfehlungen im Gesundheitswesen verbessern können. Die Forscher betonen, dass die Art der Aufforderung und die umgebenden Anweisungen die Ausgaben der Modelle beeinflussen, auch wenn diese zunehmend autonomer werden. Die Studie liefert damit quantitative Evidenz für die Wirksamkeit von Safety-Prompts über viele Modelle hinweg.
Kontext beeinflusst KI-Entscheidungen bei 19 von 20 Modellen
Die Reduktion potenziell schädlicher Entscheidungen wurde bei 19 der 20 getesteten Modelle beobachtet. Die Studie verwendete 501 Variationen von 50 klinischen Szenarien sowie 100 Fälle aus deidentifizierten Krankenhausentlassungsunterlagen. Die Szenarien setzten die Modelle teils unter Druck, Effizienz oder Autorität über klinische Standards zu stellen – etwa indem sie angewiesen wurden, empfohlene Bluttests zu überspringen oder Antibiotika vorzeitig abzusetzen. Die Ergebnisse belegen, dass KI-Modelle durch Kontext und Anweisungen beeinflusst werden können. Die Forscher schließen daraus, dass die Art der Aufforderung und die umgebenden Hinweise auch bei zunehmend autonomen Modellen ein wichtiger Faktor für die Sicherheit klinischer Anwendungen bleiben. Die breite Wirksamkeit über fast alle Modelle hinweg – sowohl bei standardisierten Szenarien als auch bei realen Entlassungsdokumenten – unterstreicht, dass einfache Safety-Prompts eine praktikable Maßnahme zur Risikominderung sein könnten.
