InclusionMed stellt Atlas für medizinische KI vor: Rangfolgen hängen von der Rolle ab
Die offene Initiative ordnet Benchmarks nach drei Rollen und drei Fähigkeiten und bewertet 22 Modelle. Der erste Release deckt nur drei von neun Zellen ab.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- InclusionMed ist eine offene Evaluationsinitiative für medizinische KI.
- Der Atlas ordnet Benchmarks nach drei Gesundheitsrollen und drei KI-Fähigkeiten.
- Der Release evaluiert 22 Modelle auf fünf Benchmarks, vier öffentlichen und einem privaten.
- Der Overall-Index ist das gleichgewichtete Mittel der fünf Benchmark-Scores.
- Die Gesamt-Index-Scores der evaluierten Modelle liegen zwischen 17,5 und 49,1 von 100.
Atlas sortiert Medizin-Benchmarks nach Rolle und Fähigkeit
InclusionMed, eine offene Evaluationsinitiative für medizinische KI, hat einen Atlas veröffentlicht. Er ordnet Benchmarks nach drei Gesundheitsrollen und drei KI-Fähigkeiten. Die Rollen sind Patienten und Öffentlichkeit, Gesundheitsfachkräfte sowie Verwaltungsfachkräfte im Gesundheitswesen. Die Fähigkeiten heißen Wissen, Reasoning und Agency. Laut GitHub-README erschien der Technical Report am 16. November 2026.
Für den ersten Release wählte die Initiative vier öffentliche Benchmarks aus 388 Kandidaten aus. Grundlage seien, so die Darstellung des Projekts, strukturierte Audits und unabhängige Reproduktion. Hinzu kommt der private Diagnose-Benchmark InclusionMed-DxFiles. Die Audit-Kriterien und die Reproduktionsergebnisse liegen im vorliegenden Material nicht vor. Die Angaben sind daher Herstellerangaben.
Der Release evaluiert 22 Modelle auf fünf Benchmarks. Der Overall-Index ist das gleichgewichtete Mittel der fünf Benchmark-Scores. Daneben weist er Werte je Rolle und je Fähigkeit aus. InclusionMed beschreibt sich selbst als offene, inklusive Kollaboration. Sie will globale Gesundheitsbedürfnisse zum Maßstab für Fortschritt in der medizinischen KI machen. Diese Selbstbeschreibung lässt sich erst an veröffentlichtem Code, an Protokollen und an tatsächlich akzeptierten Beiträgen prüfen.
Rangfolgen wechseln mit der Rolle, ähnliche Scores kosten unterschiedlich viel
Die Gesamt-Scores der Modelle liegen zwischen 17,5 und 49,1 von 100. Der Rang hängt von der betrachteten Rolle oder Fähigkeit ab. Wer im Gesamtindex vorn liegt, führt deshalb nicht zwingend in jeder Zelle. Eine Analyse mit Task-Tags innerhalb der Benchmarks zeigt ein Muster: Alle zehn bestplatzierten Modelle erzielten bei Patientenkommunikation höhere Werte als bei klinischer Entscheidungsfindung.
Modelle mit ähnlichem Index-Score unterscheiden sich außerdem deutlich in den geschätzten Inferenzkosten. Welche Modelle betroffen sind, wie hoch die Werte liegen und wie die Kosten berechnet wurden, geht aus dem Material nicht hervor. Dasselbe gilt für Modellnamen und Einzelwerte.
Daraus folgt: Ein einzelner Gesamtwert eignet sich schlecht als Auswahlkriterium. Wer ein Modell für einen bestimmten Einsatz auswählt oder beschafft, sollte Rollen- und Fähigkeitswerte getrennt betrachten und die Kosten dazunehmen.
Erster Release deckt drei von neun Zellen ab
Die fünf Benchmarks bewerten drei der neun Rollen-Fähigkeits-Zellen. Sechs Zellen bleiben unbewertet. Der Index sagt damit nichts über den größten Teil des Rasters aus, das der Atlas selbst aufspannt.
Dass sich Rankings je nach Kontext verschieben, ist qualitativ nicht neu. Eine Red-Teaming-Studie (DAS) berichtet bei einem Test auf HealthBench ebenfalls deutliche Verschiebungen. Neu sind bei InclusionMed die Aufschlüsselung nach Rolle und Fähigkeit sowie die Kostenperspektive.
Beiträge sind laut Projekt für Einzelpersonen und Organisationen offen. Eingereichte Benchmarks durchlaufen ein Review und eine unabhängige Reproduktion. Akzeptierte Benchmarks erscheinen mit Scope, Limitationen und Contributor-Credits. Kontakt: [email protected].
Laut der Kurzzusammenfassung des Aggregators hyper.ai stammen die Autorinnen und Autoren unter anderem von der Xiamen University, der East China University of Science and Technology und der Chinese University of Hong Kong, Shenzhen. Das ist eine sekundäre Angabe. Die vollständige Autorenliste liegt nicht vor.



