Lokales DDI-Prüftool im Browser: Datenschutz ja, klinische Validierung fehlt

Tutorial zeigt Architektur für lokales DDI-Prüftool im Browser

Zwei Tutorials beschreiben den Aufbau eines browserbasierten Tools zur Prüfung von Arzneimittelwechselwirkungen (DDI). Das erste Tutorial skizziert eine Architektur, bei der Nutzereingaben an eine WebLLM-Engine übergeben werden. Diese greift über WebGPU auf die lokale GPU zu und streamt Antworten zurück; alle Komponenten laufen in einer Browser-Sandbox. Ein zweites Tutorial verfolgt einen ähnlichen Ansatz und ergänzt IndexedDB für lokale Medikamentendaten, inklusive Fuzzy-Matching und Interaktionsprüfung. In beiden Fällen verlassen keine Daten das Gerät – eine Cloud-Anbindung ist nicht erforderlich. Die Autoren bewerben das Tool mit „millisekundenschnellen“ Prüfungen und „100% Datenresidenz“. Diese Angaben sind Herstellerangaben und bislang nicht durch unabhängige Tests belegt. Ob ein fertiges, öffentlich verfügbares Tool existiert, geht aus den Tutorials nicht hervor.

Studien zeigen variable und oft unzureichende Leistung von LLMs bei DDI-Erkennung

Die unabhängige Studienlage zeichnet ein gemischtes Bild. Eine Querschnittsstudie zu 186 Antiepileptika-Kombinationen ermittelte für ChatGPT eine Sensitivität von 0,842, aber eine Spezifität von nur 0,358 – im Vergleich zu Drugs.com mit 0,870 Sensitivität und 0,629 Spezifität. Eine explorative Studie mit 57 Rheumapatienten und 204 relevanten DDIs fand für ChatGPT einen F1-Score von 0,2520, für Gemini 0,1933 und für Copilot 0,1153; alle Systeme zeigten niedrige Präzision. Eine Benchmark-Studie mit 750 DDI-Szenarien und drei LLMs (GPT-4o-mini, MedGemma-27B, LLaMA3-70B) stellte fest, dass die Modellleistung je nach Aufgabenkomplexität variierte. Eine Beobachtungsstudie mit 82 Fallberichten ergab, dass ChatGPT 99 Prozent der DDI-Fälle erkannte, Claude und Gemini 95 Prozent – die korrekte Beantwortung aller DDI-bezogenen Fragen lag jedoch nur bei 66 Prozent (ChatGPT), 68 Prozent (Claude) und 33 Prozent (Gemini). Ein systematisches Review von neun Studien (2023–2025) kommt zu dem Schluss, dass die Leistung öffentlich zugänglicher LLM-Chatbots variabel und teilweise unzureichend ist. Eine separate Studie evaluierte 18 LLMs anhand von SMILES, Zielorganismen und Geninteraktionsdaten; feinabgestimmte Modelle wie Phi-3.5 2.7B erreichten auf balancierten Datensätzen eine Sensitivität von 0,978 und eine Genauigkeit von 0,919 – deutlich besser als Zero-Shot-Ansätze.

Widerspruch: Hohe Sensitivität, aber niedrige Präzision – was heißt das für die Praxis?

Die Zahlen offenbaren einen zentralen Widerspruch: Einerseits berichten Studien von hoher Sensitivität (0,842) und einer Erkennungsrate von 99 Prozent, andererseits liegen die F1-Scores mit 0,2520 (ChatGPT), 0,1933 (Gemini) und 0,1153 (Copilot) sehr niedrig. Der Grund ist eine ausgeprägte Übervorhersage: LLMs markieren viele Interaktionen als relevant, die es nicht sind. Die niedrige Spezifität von 0,358 bedeutet, dass ein Großteil der als Wechselwirkung gemeldeten Paare tatsächlich harmlos oder nur geringfügig ist. In der Praxis führt das zu Alarmmüdigkeit und unnötigen Rückfragen. Die Diskrepanz zwischen den Studien erklärt sich durch unterschiedliche Studiendesigns, Datensätze, Referenzstandards und Bewertungsmetriken. Auch die verwendeten LLM-Versionen und Prompt-Formulierungen variieren. Eine hohe Sensitivität allein ist daher kein Beleg für klinische Tauglichkeit; entscheidend ist das Verhältnis aus Trefferquote und Fehlalarmen.

Etablierte Tools im Vergleich: Drugs.com, Lexicomp und das Ende von DrugBanks kostenlosem Checker

Abonnementbasierte Ressourcen wie Lexicomp erreichen laut einem Vergleichsbericht oft die höchste Sensitivität und den höchsten negativen Vorhersagewert für klinisch relevante Interaktionen. Kostenlose Tools wie Drugs.com können jedoch vergleichbar gut abschneiden – in der Querschnittsstudie lag Drugs.com bei Sensitivität und Spezifität sogar vor ChatGPT. Ein weiterer Vergleich weist darauf hin, dass verschiedene Tools dasselbe Medikamentenpaar unterschiedlich bewerten können und die Übereinstimmung zwischen Quellen gering ist. Zusätzlich hat DrugBank angekündigt, seinen kostenlosen Interaction Checker und den DDI-Checker-API-Endpoint zum 25. März 2026 einzustellen; die vollständige Datenbank bleibt nur unter Enterprise-Lizenz verfügbar. Für Entwickler und kleinere Praxen entfällt damit eine bislang frei zugängliche Referenz.

Lokales WebLLM-Tool: Datenschutz ja, klinische Validierung fehlt

Die in den Tutorials beschriebene Architektur erbt die bekannten Schwächen von LLMs bei der DDI-Erkennung. Das systematische Review stellt fest, dass öffentlich zugängliche LLM-Chatbots nur variable und teilweise unzureichende Leistung zeigen. Der Datenschutzvorteil eines lokalen Tools – keine Übertragung sensibler Medikationsdaten an Cloud-Server – ist real und technisch nachvollziehbar. Doch die klinische Zuverlässigkeit ist damit nicht belegt. Unabhängige Tests des konkreten, in den Tutorials skizzierten Tools fehlen bislang vollständig. Solange keine Validierung anhand etablierter Referenzstandards wie Lexicomp oder Drugs.com vorliegt, bleibt ein solches Browser-Tool ein interessantes Konzept, aber kein Ersatz für geprüfte DDI-Datenbanken.