JAMA-Autoren fordern Abbau von Hürden für autonome KI in der Medizin

JAMA-Autoren fordern Abbau von Hürden für autonome KI

Ein Meinungsbeitrag im Fachjournal JAMA prognostiziert, dass autonome KI bei medizinischer Denkarbeit besser sein wird als jedes Arzt-KI-Gespann. Hauptautor Ezekiel Emanuel, Bioethiker an der University of Pennsylvania und einer der Architekten von Obamas Gesundheitsreform, gilt als Schwergewicht der US-Gesundheitspolitik. Zusammen mit seinen Kollegen fordert er, dass Gesetze den Einsatz solcher KI nicht durch die Festschreibung eines Menschen in der Schleife behindern dürfen.

Die Prognose bezieht sich ausdrücklich auf medizinische Denkarbeit, nicht auf manuelle Tätigkeiten. Diese Unterscheidung ist relevant, weil die Autoren ihre Forderung auf den kognitiven Bereich der Medizin beschränken, in dem sie eine Überlegenheit autonomer KI erwarten. Manuelle Tätigkeiten werden nicht thematisiert, was darauf hindeutet, dass der Fokus auf Entscheidungsprozessen liegt.

Der Beitrag ist als Meinungsbeitrag gekennzeichnet und formuliert eine normative Position zur künftigen Regulierung. Er erhebt keinen Anspruch auf empirische Belege, sondern warnt davor, dass Regeln, die einen Menschen in der Schleife vorschreiben, den medizinischen Fortschritt blockieren könnten. Die Autoren argumentieren, dass solche Vorschriften den Einsatz autonomer KI verhindern oder verzögern würden, obwohl diese nach ihrer Prognose bessere Ergebnisse erzielen könnte als die Zusammenarbeit von Arzt und KI. Die Forderung richtet sich an Gesetzgeber, die bestehende oder geplante Vorschriften überprüfen sollen. Der Beitrag nennt keine konkreten Beispiele für solche Vorschriften, sondern bleibt auf der prinzipiellen Ebene. Die Autoren sehen in der Festschreibung menschlicher Aufsicht eine unnötige Hürde, die den Nutzen autonomer KI für Patienten schmälern könnte. Damit positioniert sich der Beitrag gegen regulatorische Ansätze, die auf eine verpflichtende menschliche Letztentscheidung setzen.

Debatte um Entscheidungsgrenzen für KI-Agenten

Die Forderung aus dem JAMA-Beitrag steht nicht isoliert. In der Fachöffentlichkeit wird bereits über Entscheidungsgrenzen für KI-Agenten diskutiert, allerdings ohne medizinischen oder gesetzgeberischen Fokus. Ein Blogartikel schlägt vor, Privacy-Filter für KI-Agenten einzuführen, um deren Zugriff auf sensible Daten zu begrenzen. Ein anderes Konzept, Discretion Engineering, definiert Entscheidungsgrenzen für KI-Agenten und legt fest, in welchen Situationen ein System eigenständig handeln darf und wann es menschliche Freigabe benötigt.

Beide Ansätze adressieren die Frage, wie viel Autonomie KI-Agenten erhalten sollten und wo menschliche Aufsicht unverzichtbar bleibt. Privacy-Filter zielen auf den Datenzugriff, Discretion Engineering auf Handlungsspielräume innerhalb bestehender Aufsichtsstrukturen. Der JAMA-Beitrag bringt diese Frage in den medizinischen und gesetzgeberischen Kontext, indem er fordert, dass Gesetze die Autonomie medizinischer KI nicht durch die Pflicht zur menschlichen Kontrolle einschränken dürfen.

Der entscheidende Unterschied liegt in der Ebene der Regulierung: Während Privacy-Filter und Discretion Engineering technische oder gestalterische Lösungen innerhalb eines gegebenen rechtlichen Rahmens vorschlagen, zielt der JAMA-Vorstoß darauf ab, den rechtlichen Rahmen selbst zu verändern. Konkret verlangt er, dass Gesetzgeber bestehende oder geplante Vorschriften, die einen Menschen in der Schleife vorschreiben, überprüfen und ändern, um autonome KI zuzulassen. Der Beitrag nennt keine konkreten Regelungen, aber die Forderung impliziert, dass jede Vorschrift, die eine menschliche Letztentscheidung verlangt, als Hindernis betrachtet wird. Die Autoren argumentieren, dass solche Vorschriften den Einsatz autonomer KI behindern, obwohl diese nach ihrer Prognose bessere Ergebnisse erzielen könnte. Damit hebt der JAMA-Beitrag die Debatte von der technischen Gestaltung auf die gesetzgeberische Ebene. Dieser Perspektivwechsel ist zentral, weil er die Frage der menschlichen Aufsicht nicht mehr als Designproblem, sondern als regulatorische Grundsatzfrage behandelt.

Regulatorische Implikationen für das Gesundheitswesen

Die Forderung betrifft vor allem drei Gruppen: Gesetzgeber, Ärztinnen und Ärzte sowie KI-Entwickler. Gesetzgeber müssten bestehende oder geplante Vorschriften daraufhin prüfen, ob sie einen Menschen in der Schleife festschreiben. Der Beitrag nennt keine konkreten Regelungen, aber die Forderung zielt auf alle Vorschriften ab, die eine menschliche Letztentscheidung bei medizinischen Entscheidungen verlangen. Ärztinnen und Ärzte wären mit der Frage konfrontiert, ob sie Entscheidungen an autonome Systeme abgeben dürfen oder müssen. Diese Frage berührt bestehende berufsethische und rechtliche Verpflichtungen, etwa die ärztliche Sorgfaltspflicht, auch wenn der Beitrag darauf nicht eingeht. KI-Entwickler erhielten größeren Spielraum, Systeme ohne verpflichtende menschliche Aufsicht zu konzipieren und einzusetzen.

Eine Umsetzung der Forderung würde bedeuten, dass medizinische KI nicht mehr zwingend unter menschlicher Letztentscheidung steht. Der JAMA-Beitrag führt mögliche Folgen nicht im Einzelnen aus; er beschränkt sich auf die Warnung, dass gesetzliche Hürden den medizinischen Fortschritt blockieren könnten. Die Autoren argumentieren, dass solche Hürden den Einsatz autonomer KI verhindern oder verzögern würden, obwohl diese nach ihrer Prognose bessere Ergebnisse erzielen könnte. Damit liefert der Beitrag einen Impuls, die grundsätzliche Rolle des Menschen in der medizinischen Entscheidungsfindung zu überdenken, ohne jedoch konkrete Antworten auf die sich daraus ergebenden ethischen und rechtlichen Fragen zu geben.