Das Ergebnis: Die meisten Publikationen nutzen klassische Metriken wie Genauigkeit (accuracy) oder Sensitivität (sensitivity), ohne die klinischen Risiken von Fehlklassifikationen ausreichend zu berücksichtigen.

Fehlende Risikobetrachtung – ein kritisches Problem

Haimerl und Reich betonen, dass unterschiedliche Fehlertypen bei der Nutzung von ML-Modellen – insbesondere false-negative (übersehene Erkrankungen) und false-positive (Fehldiagnosen) Ergebnisse – gravierende und teils sehr unterschiedliche Folgen haben können. Während ein false-negative Ergebnis zu einer unterlassenen Behandlung führen kann, verursacht ein false-positive Ergebnis möglicherweise unnötige Eingriffe. Eine risikobasierte Bewertung könnte helfen, die Sicherheit und Effektivität von KI-gestützten Diagnosemodellen zu verbessern.

Regulatorische Anforderungen und notwendige Anpassungen

Die Autoren verweisen auf die Medizinprodukteverordnung der EU (Medical Device Regulation – MDR) sowie die Risikomanagement-Norm für den Bereich der Medizinprodukte ISO 14971, die eine systematische Risikobewertung für medizinische Geräte vorschreiben. Dennoch berücksichtigen viele ML-Modelle diese regulatorischen Anforderungen nicht ausreichend. Die Autoren zeigen auf, dass ein stärkerer Fokus auf risikobasierte Leistungsmetriken die Patientensicherheit erheblich verbessern könnte und dieser Ansatz als wesentlicher Baustein für die Zulassung von KI-basierten Medizinprodukten betrachtet werden sollte.

Der Artikel wurde in Zusammenarbeit mit dem KISS-Projekt (Künstliche Intelligenz Services und Systeme) der Hochschule Furtwangen verfasst und wurde vom Bundesministerium für Bildung und Forschung (MBMF) sowie vom Ministerium für Wissenschaft, Forschung und Kunst des Landes Baden-Württemberg gefördert.

Veröffentlicht wurde der Artikel in BMC Medical Informatics and Decision Making, einer Fachzeitschrift von Springer Nature.