Früher wurde eine Künstliche Intelligenz (KI) mit einem abgeschlossenen Trainingsdatensatz „fertig“ trainiert und dann validiert, um anschließend produktiv eingesetzt zu werden. Mittlerweile ist es auch möglich, dass eine KI fortlaufend aus neuen Daten lernt und sich so ihrem Einsatzgebiet und ihren Aufgaben immer besser anpasst. Dies wird als kontinuierliches Lernen bezeichnet und lässt sich mit verschiedenen Algorithmen umsetzen: mit neuralen Netzwerken, Bayesschen Modellen, Random-Forest-Modellen und anderen.
Im Gesundheitswesen gibt es aber ein Problem: Solche kontinuierlich lernenden KI-Modelle können bisher nicht als Medizinprodukt zugelassen werden – obwohl sie zahlreiche mögliche Anwendungsbereiche hätten, etwa in der radiologischen Diagnostik.
Die Qualität von KI-Modellen hängt wesentlich von der Qualität der Trainingsdaten ab. Dieses Prinzip ist umgangssprachlich auch als „crap in – crap out“ bekannt – schlechte Daten führen zu einer schlechten Performance des Algorithmus. Doch was sind schlechte Daten? Selbst qualitativ hochwertige, also handverlesene und von menschlichen Expert:innen kontrollierte Daten können unzureichend sein, sobald sich die Bedingungen ändern, unter denen die KI eingesetzt wird.
Trainingsdaten können veralten
Die Radiologie ist, wie so oft in der Medizininformatik, auch im Bereich KI-Einsatz ein Vorreiter. In der Radiologie kann es zum Beispiel zu einer Änderung von Protokollen bei der Aufnahme von Bildern kommen, die dazu führt, dass etablierte diagnostische KI-Algorithmen an Genauigkeit verlieren. Denn: Trainiert wurden sie mit Bildern, die mit anderen Protokollen aufgenommen wurden, und haben seither nicht mehr dazugelernt.
Daher wird in der Radiologie und anderen Fachrichtungen, die KI einsetzen (wollen), schon seit Jahren diskutiert, unter welchen Bedingungen man auch in der Medizin kontinuierlich lernende KI verwenden könnte. In der Radiologie könnte dies beispielsweise heißen, dass KI-generierte Befunde durch eine Radiologin gesehen und entweder bestätigt oder abgelehnt werden. Eine solche kontinuierlich lernende KI könnte sich auch an ändernde Protokolle und andere Rahmenbedingungen anpassen, etwa eine sich langsam über die Zeit ändernde Patientenpopulation. Solche graduellen Änderungen werden auch als Concept Drift bezeichnet und sind einer der Hauptgründe, warum der Ruf nach kontinuierlich lernender KI in der Medizin lauter wird.
Der Einsatz kontinuierlich lernender KI wurde beispielsweise schon 2020 von Oleg Piyankh und Mitarbeitenden im Review „Continuous Learning AI in Radiology“1 gefordert – und die damit einhergehenden Herausforderungen diskutiert.
Risiken und Herausforderungen des kontinuierlichen Lernens
So kann es etwa zu einem sogenannten Catastrophic Forgetting kommen: Bei einem solchen Vorfall bringt ein einziger Ausreißer die KI dazu, ihre bislang gelernten diagnostischen Fähigkeiten zu verlieren. Es handelt sich weniger um ein echtes Vergessen als vielmehr um eine dramatische Verzerrung des zuvor trainierten Modells, weil die KI um jeden Preis versucht, einen zufälligen Ausreißer in ihr statistisches Modell zu integrieren – statt ihn als Fehler zu verwerfen. Hierzu benötigt die KI Unterstützung eines menschlichen Experten oder vergleichbare Vorrichtungen der Qualitätskontrolle.
Andere wichtige Konzepte der kontinuierlich lernenden KI sind:
- Online-Learning: Hierbei wird aus jedem neuen Fall in Echtzeit hinzugelernt, ohne dass ein erneutes Training mit allen bislang vorliegenden Trainingsdaten erfolgt. Dies ist effizienter und somit eine Voraussetzung des sinnvollen Einsatzes von kontinuierlich lernender KI.
- Federated Learning: Dieses bezeichnet das Training eines zentralen KI-Modells mit Daten aus verschiedenen Institutionen, beispielsweise Radiologie-Abteilungen verschiedener Krankenhäuser. So kommt es nicht zu einer Überanpassung an die Gegebenheiten eines einzigen Krankenhauses.
Aktuell keine Zulassung als Medizinprodukt möglich
Software – inklusive KI-Modelle – kann prinzipiell schon lange als Medizinprodukt für den EU-Markt zugelassen werden. Software wird wie andere Medizinprodukte in eine von mehreren möglichen Risikoklassen eingeteilt. Von dieser Risikoklasse ist dann abhängig, welcher Weg zur Zulassung gegangen werden muss.
Notwendig ist in jedem Fall ein CE-Kennzeichen. Dieses darf einem Produkt verliehen werden, wenn der Hersteller nachweisen kann, dass das Produkt mit der jeweils anwendbaren EU-Richtlinie oder EU-Verordnung konform ist. Im Fall von medizinischer Software ist die anwendbare EU-Verordnung die EU-Medizinprodukteverordnung (Verordnung (EU) 2017/745 über Medizinprodukte), geläufiger unter dem Namen Medical Device Regulation (MDR).
Die MDR hat mit ihrem Geltungsbeginn im Mai 2021 zwei bisherige EU-Richtlinien abgelöst, die Richtlinie 93/42/EWG über Medizinprodukte (Medical Device Directive, MDD) und die Richtlinie 90/385/EWG über aktive implantierbare Medizinprodukte (Active Implantable Medical Devices, AIMD). Anders als diese Richtlinien hat die MDR als EU-Verordnung in allen Mitgliedsstaaten direkt Rechtswirkung, auch vor Umsetzung in nationales Recht. Ergänzt wird sie aber im deutschen Recht durch das Medizinprodukterecht-Durchführungsgesetz (MPDG), das nähere Bestimmungen zur Umsetzung der MDR enthält.
Zentral ist also für eine Software als Medizinprodukt zunächst einmal die Frage, in welche Risikoklasse sie fällt. Die Klassifizierung erfolgt abhängig davon, wie schwer ihr Einsatz potenziell eine Patientin oder einen Patienten schädigen kann. Die Risikoklassen lauten in der Reihenfolge steigenden Risikos: I, IIa, IIb und III.
Eine Hilfe bei der Klassifizierung liefert die MDR selbst mit den in ihrem Anhang VIII genannten Regeln. Allein stehende Software (die also nicht Teil eines anderen Medizinprodukts ist) gehört normalerweise in Risikoklasse I oder IIa, seltener auch IIb. Auch III wäre theoretisch möglich, wenn eine Fehlfunktion bis zum Tod eines Patienten führen könnte.
Nur für Medizinprodukte der Risikoklasse I darf der Hersteller selbst eine Konformitätsbewertung durchführen. Für Medizinprodukte der Klasse IIa und aufwärts muss eine Benannte Stelle hinzugezogen werden. Benannte Stellen werden von der Zentralstelle der Länder für Gesundheitsschutz bei Arzneimitteln und Medizinprodukten (ZLG)2 benannt.
Neue CE-Zertifizierung nach wesentlichen Änderungen notwendig
Unabhängig von der Risikoklasse und der Involvierung einer Benannten Stelle konnte die Konformitätsbewertung einer Software mit KI-Modell bisher nur erfolgen, wenn das Training des zugrunde liegenden KI-Modells abgeschlossen war. Der Grund dafür findet sich in Anhang I Kapitel II Abschnitt 17.1 der MDR: Dort ist festgelegt, dass ein Softwareprodukt so ausgelegt sein muss, „dass Wiederholbarkeit, Zuverlässigkeit und Leistung entsprechend ihrer bestimmungsgemäßen Verwendung gewährleistet sind“.
Diese Wiederholbarkeit ist bei einem kontinuierlich lernenden KI-Modell jedoch nicht gewährleistet. Das ist gerade das Merkmal der kontinuierlich lernenden KI: Sie ergänzt fortwährend ihre Datenbasis, sodass ihre Entscheidungen bzw. Klassifikationen mit jedem „hinzugelernten“ Datum anders als zuvor ausfallen können.
Bereits nach Einschätzung der europäischen Notified Body Operations Group (NBOG)3 im Jahre 2014 ist eine „Änderung des Algorithmus mit Auswirkungen auf Diagnose oder Therapie“ eine wesentliche Änderung, die eine Rezertifizierung notwendig macht. In einer kontinuierlich lernenden KI finden solche Änderungen fortwährend statt, sodass Rezertifizierungen nicht praktikabel sind.
Auch die deutsche Interessengemeinschaft der Benannten Stellen (IG-NB) hat sich 2022 in ihrem Dokument „Questionnaire Artificial Intelligence (AI) in medical devices“4 so positioniert, dass nur statische (fertig trainierte) KI-Modelle CE-zertifizierbar seien. Dynamische (kontinuierlich lernende) Modelle seien prinzipiell nicht CE-zertifizierbar.
DGBMT/VDE fordert Änderung der Rechtslage
Diese Rechtslage ist nach Ansicht der Deutschen Gesellschaft für Biomedizinische Technik im VDE (DGBMT/VDE) ein Innovationshemmnis. Die DGBMT hat daher ein neues Verfahren vorgeschlagen, mit dem auch für kontinuierlich lernende KI-Modelle die Konformität mit dem MDR hergestellt und ein CE-Kennzeichen vergeben werden könnte.
Sie hat sich dabei unter anderem an der US-amerikanischen FDA orientiert, die sich schon 2019 mit diesem Problem beschäftigt hat. Im damaligen Diskussionspapier schlug die FDA vor, ein QM-System für KI-Plattformen auf der Basis von Good Machine Learning Practice (GMLP) zu etablieren.
Einige erste Leitprinzipien für die Entwicklung von GMLP wurden von der FDA in Zusammenarbeit mit Health Canada und der britischen Medicines and Healthcare Products Regulatory Agency (MHPR) entwickelt und 2021 veröffentlicht.5 GMLP ist allerdings noch nicht so weit entwickelt und ausdifferenziert wie vergleichbare Konzepte, etwa Good Clinical Practice (GCP)6.
Empfehlung: Antizipierende CE-Konformitätsbewertung
Nach einer in 2023 veröffentlichten Empfehlung7 der DGBMT, die sich hauptsächlich an Behörden, Benannte Stellen und den Gesetzgeber richtet, sollen kontinuierlich lernende KI-Modelle in Zukunft einer sogenannten antizipierenden CE-Konformitätsbewertung unterzogen werden können. Als Voraussetzung soll ein sogenannter Predetermined Change Control Plan (PCCP) aufgestellt werden, der eine detaillierte Beschreibung zukünftiger Änderungen durch den fortlaufenden Lernprozess enthalten soll, ein Änderungsprotokoll und eine Folgenabschätzung. Eine solche antizipierende CE-Konformitätsbewertung soll auch mit dem neuen Artificial Intelligence Act (AIA) der EU vereinbar sein.
Insbesondere die Folgenabschätzung soll es ermöglichen, Änderungen des Risikos vorherzusehen. Wenn Änderungen des Modells sich im Rahmen dessen bewegen, was bei der antizipierenden CE-Konformitätsbewertung bereits genehmigt wurde, müssen sie der Benannten Stelle nicht erneut vorgelegt werden. Wenn Änderungen dagegen nicht vorhersehbar waren und somit nicht Teil der Genehmigung sind, müsste der Hersteller ein neues Konformitätsbewertungsverfahren durchführen.
In der Empfehlung wird das Beispiel einer diagnostischen KI für Angio-CT genannt, die auf die Fragestellung eines großen Gefäßverschlusses angewandt wird. Im PCCP soll beschrieben sein, aus welchen Daten die KI in den ersten sechs Monaten nach dem Inverkehrbringen lernen soll, um ihre Generalisierbarkeit zu verbessern. Dies könnten zum Beispiel Bilder der gleichen Patientenpopulation und Fragestellung sein – aber aus dem CT-Gerät eines anderen Herstellers. Dies würde von der antizipierenden CE-Zertifizierung abgedeckt. Falls Patient:innen mit zuvor nicht erwähnten demografischen Merkmalen hinzugezogen werden, müsse eine Rezertifizierung erfolgen. Teil der Überwachung nach dem Inverkehrbringen müsse vor allem auch sein, die Einhaltung der im PCCP definierten Gütekriterien der Bilder zu überwachen und bei einer Verletzung Alarm auszulösen.
DIN fordert Leuchtturmprojekt
In den Worten der DGBMT: „Im Sinne einer antizipierenden CE-Konformitätsbewertung sollten Benannte Stellen einen vom Hersteller eingereichten PCCP für kontinuierlich lernende KI-Systeme mit geplanten Änderungen am Modell bewerten. Sofern sich die Änderungen innerhalb des genehmigten PCCP bewegen, sollte keine erneute CE-Konformitätsbewertung mit Blick auf Änderungen am Modell durch die Benannte Stelle erforderlich sein. Dies gilt unter der Prämisse, dass ausreichende Maßnahmen zur Minderung etwaiger neuer Risiken und eine effektive Überwachung nach dem Inverkehrbringen implementiert wurden.“8
Auch das Deutsche Institut für Normung (DIN) hat sich bereits mit der Frage der Zulassung und Qualitätssicherung von kontinuierlich lernenden KI-Modellen in der Medizin beschäftigt. In seiner 2022 veröffentlichten2 Ausgabe der Normungsroadmap Künstliche Intelligenz9 fordert das Institut in Empfehlung4 einen „agilen Freigabe- / Konformitätsbewertungsprozess“, der eine klinische Validierung nach Online-Akquise neuer Trainingsdaten so umsetzt, dass möglichst keine Rezertifizierung und keine neue Konformitätsbewertung vorgenommen werden muss. Das Institut beschreibt aber keine konkrete Vorgehensweise hierzu, sondern empfiehlt, schnellstmöglich ein öffentlich gefördertes Leuchtturmprojekt hierzu durchzuführen. Teilprojekte sollen in der medizinischen Bildgebung, Onkologie, Sepsis-Früherkennung und Intensivmedizin angesiedelt sein, und die Ergebnisse sollen von einem wissenschaftlichen Beirat ausgewertet und weiterentwickelt werden.
Referenzen
1 Pianykh OS, Langs G, Dewey M, Enzmann DR, Herold CJ, Schoenberg SO, Brink JA. Continuous Learning AI in Radiology: Implementation Principles and Early Applications. Radiology. 2020 Oct;297(1):6-14. doi: 10.1148/radiol.2020200038. Epub 2020 Aug 25. PMID: 32840473.
2 https://www.zlg.de/medizinprodukte/dokumente/stellenlaboratorien
3 http://www.doks.nbog.eu/Doks/NBOG_BPG_2014_3.pdf
4 https://www.ig-nb.de/?tx_epxelo_file[id]=884878&cHash=53e7128f5a6d5760e2e6fe8e3d4bb02a
5 https://www.fda.gov/medical-devices/software-medical-device-samd/good-machine-learning-practice-medical-device-development-guiding-principles
6 https://www.ema.europa.eu/en/human-regulatory/research-development/compliance/good-clinical-practice
7 https://www.vde.com/de/dgbmt/publikationen/dgbmt-positionspapiere/empfehlung-marktzugang-ki-systeme
8 https://www.vde.com/de/dgbmt/publikationen/dgbmt-positionspapiere/empfehlung-marktzugang-ki-systeme
9 https://www.din.de/resource/blob/916792/20bf33d405710a703aa26f81362493bb/nrm-ki-deutsch-2022-final-web-250-data.pdf