Breath-Dx: Zeitliche Validierung senkt die AUC-Werte eNose-basierter Atemdiagnostik um bis zu 0,12
Ein neuer öffentlicher Benchmark prüft zehn Methoden auf dem Datensatz S-OH. Sensordrift drückt die Ergebnisse, die besten Werte für einige Lungenerkrankungen liegen bei 0,74 bis 0,76 ROC-AUC.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- Das Paper 'Breath-Dx: A Time Series Classification Benchmark for Disease Screening with eNose' führt einen Benchmark für Atem-basiertes Krankheitsscreening mit eNose ein. Er nutzt den S-OH-Datensatz mit 1.234 Patienten und je einer 17-kanaligen multivariaten Zeitreihe pro Patient.
- Das Paper bietet explizite zeitliche Train/Test-Splits, die Sensordrift berücksichtigen. Evaluiert werden 10 Methoden aus vier Familien: Feature-basierte tabellarische Lerner, Faltungsmodelle (convolution-based), graphbasierte Modelle und Zeitreihen-Architekturen.
- Alle getesteten Methoden verschlechtern sich unter zeitlicher Validierung signifikant, um 0,05-0,12 AUC gegenüber zufälliger Kreuzvalidierung. Die Autoren deuten das als starkes Zeitsignal durch Drift.
- Unter der realistischen Evaluation erreichen die besten Methoden ROC-AUC von 0,74-0,76 für einige Lungenerkrankungen. Der Abstract-Auszug ist an dieser Stelle abgeschnitten ('though oth...'), die Ergebnisse für andere Erkrankungen fehlen im Material.
- Laut Zusammenfassung der Hugging-Face-Seite sind rekurrente Modelle über Krankheiten hinweg am konsistentesten.
Zeitliche Validierung senkt alle zehn Methoden um 0,05 bis 0,12 AUC
Das Paper „Breath-Dx: A Time Series Classification Benchmark for Disease Screening with eNose“ stellt einen Benchmark für das Krankheitsscreening per Atemanalyse mit einer elektronischen Nase (eNose) vor. Verglichen werden zehn Methoden aus vier Familien: feature-basierte tabellarische Lerner, Faltungsmodelle, graphbasierte Modelle und Zeitreihen-Architekturen. Das zentrale Ergebnis lautet: Unter zeitlicher Validierung fallen alle zehn Methoden um 0,05 bis 0,12 AUC gegenüber einer zufälligen Kreuzvalidierung.
Die Autoren deuten das als starkes Zeitsignal durch Sensordrift. Gemeint ist, dass sich das Verhalten der Sensoren im Lauf der Zeit verändert. Bei einer zufälligen Aufteilung landen Messungen aus demselben Zeitraum sowohl in den Trainings- als auch in den Testdaten. Ein Modell kann solche zeitlichen Muster dann mitlernen. Fehlt diese Überlappung, weil nach Zeit aufgeteilt wird, sinken die Werte.
Unter dieser realistischeren Auswertung erreichen die besten Methoden laut den Autoren für einige Lungenerkrankungen einen ROC-AUC von 0,74 bis 0,76. Der veröffentlichte Abstract-Auszug bricht an dieser Stelle ab („though oth…“). Die Werte für andere Erkrankungen und die Zahlen je Modell sind damit bislang nicht bekannt. Die Aussage, rekurrente Modelle seien über Krankheiten hinweg am konsistentesten, stammt allein aus der Kurzfassung auf der Hugging-Face-Seite. Am Abstract-Auszug lässt sie sich nicht nachvollziehen.
Zunächst betrifft das die Forschung. Studien, die nur zufällige Kreuzvalidierung verwenden, weisen nach diesem Benchmark womöglich zu optimistische Werte aus. Für Patientinnen, Patienten und Kliniken folgt daraus noch kein Nutzen, zumal die erreichten Werte moderat ausfallen.
S-OH: 1.234 Patienten, 17 Kanäle, MIT-Lizenz
Grundlage ist der Datensatz Scent of Health (S-OH). Er ist auf Hugging Face unter ivanpodd/S-OH öffentlich verfügbar und steht unter MIT-Lizenz. Er enthält 1.234 Patienten, jeweils mit einer 17-kanaligen multivariaten Zeitreihe, dazu Metadaten zu Demografie, Diagnose, Standort und Woche. Die Zeitreihen liegen pro Patient im JSON-Format vor. Die Diagnosegruppen sind Gesunde (Z00), Hepatitis B/C, Gastritis/Duodenitis, nichtalkoholische Fettleber, Diabetes Typ II, chronische Niereninsuffizienz, COPD, Lungenkrebs und Lungentuberkulose.
Der Code liegt auf GitHub im Repository breath-dx und liest S-OH aus einem Nachbarverzeichnis. Die Skripte decken unter anderem CatBoost, LSTM, CNN, ResNet, InceptionTime, Graphormer und TS2Vec ab. Sie laufen über mehrere Seeds und schreiben Mittelwert und Streuung in Summary-Dateien. Genutzt werden die Wochen 1 bis 13 der Metadaten.
Bei der Zahl der Diagnosegruppen gehen die Angaben auseinander. Das Paper und die Verzeichnisstruktur der Dataset-Card nennen neun Gruppen. Der Fließtext der Dataset-Card nennt dagegen acht, nämlich Gesunde plus sieben Erkrankungen. Das GitHub-Repository erwähnt zusätzlich ein „original 8-class subset“ und grenzt es von den vollständigen Metadaten mit allen Klassen ab. Welche Version das Paper für welche Auswertung nutzt, lässt sich aus den Angaben nicht sicher belegen. Offen bleibt auch, welche Klasse gegebenenfalls ergänzt wurde.
Neuheitsanspruch der Autoren bleibt ungeprüft
Gesichert sind der Datensatz, der Code und die berichteten Verluste unter zeitlicher Validierung, soweit die Autoren sie angeben. Als Selbstdarstellung zu werten ist dagegen der Anspruch, Breath-Dx sei der „first comprehensive benchmark“ für Atem-basiertes Krankheitsscreening und S-OH die „largest public clinical eNose collection to date“. Ebenso stammt von den Autoren die Aussage, frühere Forschung stütze sich meist auf kleine, private Datensätze mit uneinheitlichen Protokollen. Alle drei Behauptungen ließen sich mangels Vergleichsmaterial nicht prüfen.
Zur Breite des Feldes: Ein PRISMA-orientiertes Review wertete seit 2000 veröffentlichte Arbeiten aus, darunter 48 Originalarbeiten, 21 Reviews und 7 weitere Dokumente. Obstruktive Atemwegserkrankungen wurden am häufigsten untersucht, der Cyranose 320 war die meistgenutzte eNose. Über die Hälfte der Studien zeigte eine gute Genauigkeit. Aussagen über Breath-Dx lassen sich daraus nicht ableiten.



