Studie warnt vor KI-Verzerrung in US-Sozialdiensten – Original nicht abrufbar

Studie warnt vor KI-Verzerrung in Kinderschutz, Gewaltschutz und Altenpflege

Eine Studie im Journal of the Society for Social Work and Research warnt vor algorithmischer Verzerrung durch künstliche Intelligenz in US-Sozialdiensten. Das berichtet hyper.ai. Die Studie selbst war nicht abrufbar, die Seiten des Verlags Wiley blieben ohne Zugriff. Alle Angaben stammen deshalb aus dieser Sekundärzusammenfassung. Studiendesign, Methodik und konkrete Forderungen sind offen.

Als Autorin nennt der Bericht Aislinn Conrad von der University of Iowa School of Social Work, eine frühere Kinderschutz-Ermittlerin. Ihr Argument lautet: KI-Systeme, die mit früheren Fallakten trainiert werden, können systemische Ungleichheiten fortschreiben. Einkommensschwache Haushalte und Familien of Color würden überproportional markiert. Die Daten bildeten frühere Überwachungsmuster ab, nicht tatsächliche Risiken. Außerdem warnt Conrad, KI untergrabe das menschliche Urteilsvermögen. Sie fordert institutionelle Schutzmechanismen. Laut Bericht behandelt die Studie Kinderschutz, häusliche Gewalt und Altenpflege. Zu den beiden letztgenannten Feldern liegen keine Details vor.

Allegheny-Tool: Zwei Drittel Schwarzer Kinder zur Untersuchung empfohlen

Die Kernaussage deckt sich mit Befunden zum Allegheny Family Screening Tool (AFST). Das Vorhersagemodell unterstützt Fachkräfte im Kinderschutz des Allegheny County bei Meldungen von Missbrauch oder Vernachlässigung. Seit August 2016 im Einsatz, berechnet es aus Daten des County Data Warehouse einen Risikoscore für Schaden innerhalb von zwei Jahren. Nach Angabe des Countys soll es das Urteil der Fachkräfte stützen, nicht ersetzen.

Forschende der Carnegie Mellon University ermittelten, dass das Tool in den ersten Betriebsjahren etwa zwei Drittel der gemeldeten Schwarzen Kinder zur Untersuchung empfahl. Bei den übrigen Kindern lag der Anteil bei etwa der Hälfte. Sozialarbeiter widersprachen den Scores in rund einem Drittel der Fälle.

Das County weist die Forschung als hypothetisch zurück. Es hält die Daten für veraltet und verweist darauf, dass Fachkräfte das Tool jederzeit übersteuern können. Eine Prüfung mit aktuellen Daten liegt nicht vor. Offen bleibt zudem, wie stark der Score tatsächliche Entscheidungen prägt.

Das County beschreibt das Tool als Ergebnis eines mehrjährigen Prozesses mit Validierung, ethischer Prüfung und unabhängiger Evaluation. Dabei handelt es sich um eine Eigenangabe. Prüfbar wäre sie anhand der veröffentlichten Berichte und unabhängiger Audits.

Justizministerium prüfte, Oregon stellt Algorithmus ein

Laut einer Recherche der Nachrichtenagentur AP prüfte die Civil Rights Division des US-Justizministeriums das AFST. Geprüft wurde mögliche Diskriminierung von Familien mit Behinderungen, darunter psychisch Erkrankte. Die AP stützt sich dabei auf ungenannte Quellen. Im Herbst gingen demnach mehrere Bürgerrechtsbeschwerden ein.

Die AP-Analyse des AFST und davon inspirierter Modelle in Los Angeles County, Douglas County in Colorado und Oregon zeigt umstrittene Datenpunkte. Teils wurden Familien nach Rasse, Postleitzahl, Behinderung und Bezug öffentlicher Sozialleistungen bewertet.

Oregon DHS stellt sein vom AFST inspiriertes Safety at Screening Tool bis Ende Juni ein, wie eine E-Mail der stellvertretenden Direktorin vom 19. Mai ankündigt. Ein Sprecher hielt das Werkzeug nicht mehr für nötig, da es nicht zum neuen Screening-Prozess passe. Weitere Angaben zu den Gründen machte er nicht.