Blackbox, Fehleranfälligkeit, Aufklärungspflicht: Bei einer Online-Veranstaltung sprachen ein Ethiker und ein Jurist darüber, welche Anforderungen KI-Systeme in der Radiologie erfüllen sollten – und welche rechtlichen Aspekte Ärzte beachten müssen.

©Screenshot nformationen von KI-Systemen sollten in die ärztliche Entscheidungsfindung einfließen können – sie sollten ärztliche Entscheidungen aber nicht ersetzen, rät Dr. Roman Wagner.

Wer eine KI nutzt, der setzt damit auch immer auf eine Blackbox. Was im System passiert, ist – technisch bedingt – nicht vollständig nachvollziehbar. Bedeutet das somit auch, dass man KI-Systeme nicht in der Medizin einsetzen sollte? Das sieht der Medizinethiker Dr. Roman Wagner nicht so, machte er am Donnerstag bei einer Online-Veranstaltung in der Reihe „Zukunft Teleradiologie“ deutlich. Einen Ausweg sieht der Wissenschaftler vom Deutschen Referenzzentrum für Ethik in den Biowissenschaften (DRZE) an der Universität Bonn darin, zumindest eine gewisse Form von Transparenz einzufordern. So sollten Hersteller offenlegen, welche Trainingsdaten verwendet wurden, um etwa möglichen Diskriminierungsproblemen vorzubeugen. Darüber hinaus sollte immer wissenschaftlich validiert werden, wie gut ein Programm im medizinischen Alltag – und nicht unter Laborbedingungen – funktioniert. Auch die Fehleranfälligkeit des Systems müsse transparent gemacht werden.  

Bei der Online-Veranstaltung diskutierte der Medizinethiker mit dem Anwalt für Medizinrecht Prof. Bernd Halbe und Praktikern aus der Radiologie, wie der Umgang mit KI-Systemen aussehen sollte und welche rechtlichen Aspekte berücksichtigt werden müssten.

Seltsame Fehler und blindes Vertrauen

Dass es sehr wichtig ist, die Fehleranfälligkeit zu prüfen, liegt daran, dass KI-Systeme immer mal wieder sogenannte „strange errors“ machen können. Darunter versteht man Fehler, die einem Menschen so nicht unterlaufen würden. Das kann zum Beispiel der Fall sein, wenn eine KI auf einem Bild einen Elefanten mit einem Schmetterling verwechselt. Aufgrund dieser Seltsamkeit sei es äußerst schwierig vorherzusagen, wann eine KI solche Fehler mache, so Wagner. Für den Medizinethiker folgt daraus: Es muss möglich sein, Fehler schnell zu erkennen und zu beheben. „Das macht eine vollständige Automatisierung gerade im medizinischen Prozess natürlich sehr problematisch.“ Bei existenziell gewichtigen medizinischen Entscheidungen und Prozessen sei es wichtig, dass weiterhin der Mensch die Aufsicht und Verantwortung übernehme. 

KI-Systeme sollten auch aus einem anderen Grund nicht einfach automatisiert eingesetzt werden, merkte Wagner an. Und zwar geht es dabei um den sogenannten Automation-Bias: Menschen neigen dazu, einer KI blind zu vertrauen, wenn sie davon überzeugt sind, dass das System gut funktioniert. „Ärztinnen und Ärzte würden dementsprechend ihre Freiheit einem System übergeben, das selbst überhaupt nicht in der Lage ist, autonom zu agieren“, so Wagner. Sein Fazit: Informationen von KI-Systemen sollten in die ärztliche Entscheidungsfindung einfließen können – sie sollten ärztliche Entscheidungen aber nicht ersetzen.

Vertrauen schaffen, Aufklärung dokumentieren

Dass immer eine ärztliche Fachkraft die Ergebnisse prüfe, sei auch aus einem anderen Grund wichtig, merkte Roman Wagner an. Da künstliche Intelligenz noch eine neue Technologie sei, gehe es auch darum, auf der Patientenseite eine Vertrauensbasis zu schaffen – und dieses Vertrauen könnten nur Menschen herstellen.

Fachanwalt Prof. Bernd Halbe betonte die Aufklärungspflichten mit Blick auf den KI-Einsatz – und daher auch die Dokumentation über die Aufklärung. Sollte die Dokumentation später in einer gerichtlichen Auseinandersetzung fehlen, drohten Ärztinnen und Ärzte Nachteile.

Doch in welchen Fällen müssen Ärztinnen und Ärzte überhaupt über den Einsatz in der radiologischen Praxis aufklären? Entscheidend sei dafür, wie die KI eingesetzt werde, so Halbe. Komme ein KI-System nur als Zweitmeinung neben der eigenen Befundung zum Einsatz, bleibe die Leistung originär ärztlich. Eine gesonderte Aufklärung sei dann nicht nötig. Wer sich hingegen auf ein KI-System verlasse und selbst nur noch stichprobenartig kontrolliere, müsse in jedem Fall aufklären und sich dieses Vorgehen auch von den Patienten unterschreiben lassen.

Wann Aufklärung zur Pflicht wird

Bedeutsam ist für Ärztinnen und Ärzte zudem, inwiefern der Einsatz von KI-Systemen als „state of the art“ angesehen wird. Ist der Einsatz eines KI-Systems beispielsweise Teil einer Leitlinie? Dann könne bei rechtlichen Auseinandersetzungen die Frage gestellt werden, warum ein System nicht eingesetzt wurde, merkte Jurist Halbe an. So wie Medizinethiker Roman Wagner betonte auch Bernd Halbe, dass weiterhin der Mensch unabhängig vom System handeln können müsse. „Diejenigen, die mit KI arbeiten, müssen es auch ohne können.“