Wenn KI-Modelle eingesetzt werden, um Diagnosen zu erstellen oder Therapieempfehlungen zu geben, verändert sich die Rolle von Ärzten fundamental. Medizinethiker PD Dr. Markus Herrmann erklärt, wie das Zusammenspiel von Mensch und KI verantwortungsvoll gelingen kann – und warum Ärzte KI-Abstinenztage einlegen sollten.

©privat „Der Königsweg, um Verantwortungspflichten zu etablieren, liegt nicht darin, sie in eine Textform zu gießen und zu hoffen, dass Ärztinnen und Ärzte sie später lesen und auswendig lernen werden“, sagt PD Dr. Markus Herrmann.

Herr Dr. Herrmann, Sie haben sich in Philosophie habilitiert und sich dann auf die Themen Ethik und künstliche Intelligenz (KI) in der Medizin spezialisiert. Sie beschäftigen sich damit, ob und wie KI in der Medizin eingesetzt werden sollte. Welche ethischen Fragen und Aspekte sind beim Einsatz von KI in der Medizin Ihrer Ansicht nach besonders bedeutsam?

Für mich stehen die Verantwortungsfragen im Vordergrund. Bei meiner Forschungsarbeit schaue ich mir mit meinen Kolleginnen und Kollegen vor allem die Interaktion zwischen ärztlichen Anwenderinnen sowie Anwendern einerseits und KI andererseits an. Bei der KI-Anwendung in der Medizin sehen viele die Letztverantwortung bei Ärztinnen und Ärzten. Das sehe ich jedoch kritisch.

Wieso?

Man muss sich fragen, ob Ärztinnen und Ärzte für KI-Anwendungen die Letztverantwortung überhaupt übernehmen können. Um Antworten darauf zu finden, hilft ein Vergleich mit einem ganz anderen technischen Bereich der Automatisierung: dem autonomen Fahren. Derjenige, der hinter dem Lenkrad sitzt, ist beim Fahren in der Letztverantwortung. Er darf sich nicht hundertprozentig auf die Assistenzsysteme verlassen. Wenn irgendeine Gefahr droht, muss die Person eingreifen und die Gefahr abwenden.

Wenn nun auch in der Medizin KI-Modelle eingesetzt werden, um Diagnosen zu erstellen oder Therapieempfehlungen zu geben, können dabei ebenfalls Fehler passieren. Ärztinnen und Ärzte müssen intervenieren, wenn etwas schiefläuft – und dadurch verändert sich ihre Rolle fundamental. Sie werden vom wirkungsmächtigen Akteur zum Aufpasser über die KI.

Was bringt dieser Rollenwechsel mit sich?

Aufpasser zu sein, ist weniger befriedigend als selbst Akteur zu sein. Denn man hat dann weniger Handlungsmacht. Und wenn eine Aufpassertätigkeit langweilig ist, fällt es einem viel schwerer, bei der Tätigkeit die volle Kontrolle zu behalten. Es stellt sich also die Frage, wie gut der Mensch als Aufpasser überhaupt geeignet ist.

Was denken Sie?

Die Rollenveränderung funktioniert beim autonomen Fahren sehr gut. Denn wenn Ihr Navigationssystem Ihnen sagt, dass Sie auf einen Fußgänger zusteuern sollen, wissen Sie sofort: Das ist eine schlechte Idee. In der Medizin hingegen funktioniert das nicht so gut.

Woran liegt das?

Wir haben in der Medizin kein perfektes Wissen, sondern handeln häufig vom Standpunkt der Ungewissheit aus. Es ist nicht immer klar, was der beste Weg für einen Patienten ist. Das gilt insbesondere bei seltenen Erkrankungen. Und so entsteht eine deutliche Spannung: Auf der einen Seite soll der Arzt die Rolle des Aufpassers und somit Verantwortung übernehmen. Auf der anderen Seite will der Arzt von der KI genuine Hilfe erhalten. Das wirft die Frage auf, wo genau die Grenzen der Verantwortung liegen. Was genau können wir von Ärztinnen und Ärzten erwarten, wenn sie eine KI verwenden? Und wo müssen wir sagen: Das liegt außerhalb Ihres Kontrollbereichs.

Ärztinnen und Ärzte müssen aber nicht unbedingt lediglich Aufpasser sein oder diejenigen, die sich genuine Hilfe holen. In der Diskussion um den Einsatz von KI in der Medizin wird häufig ja noch eine andere Aufgabenteilung ins Spiel gebracht: dass Ärztinnen und Ärzte so arbeiten wie bisher und sich zusätzlich von einer KI-Anwendung unterstützen lassen.

Das stimmt, das ist dann ein kooperatives Verhältnis. Aber damit ist eines der großen Versprechen der KI-Revolution hinfällig: das Versprechen, dass damit alles viel schneller geht. Darüber hinaus gibt es eine Menge Forschungsergebnisse dazu, die zeigen, wie schwer es Menschen fällt, sich selbst Gedanken zu machen, wenn sie mit dem Input einer KI arbeiten. Denn der Output der KI beeinflusst automatisch das diagnostische Vorgehen. Die KI-Informationen lenken den Blick. Darüber hinaus gibt es noch ein weiteres Problem: Wenn die KI in der Vergangenheit häufig richtig lag, tendieren Menschen dazu, ihre Ergebnisse künftig eher zu übernehmen und weniger kritisch damit umzugehen. Wir haben eine Neigung dazu, der KI recht zu geben und zu sagen: Wird schon stimmen!

Beim Zusammenspiel zwischen KI und Mensch gibt es also zahlreiche Schwierigkeiten. Welche Strategien gibt es, um nicht in diese Fallen zu tappen und Vorschläge leichtfertig zu übernehmen?

Ärztinnen und Ärzte sollten sich zunächst fragen, welche Informationen und Daten ihnen vorliegen, wofür diese sprechen und inwiefern die eigene Überzeugung von derjenigen der KI abweicht. Man sollte sich also fragen: Welche Daten könnten für mich sprechen? Und welche Daten könnten für die KI sprechen? So kann man letztlich zu einer besser informierten Einschätzung gelangen. Das hat sich als Strategie herausgestellt, die mehr Erfolg verspricht.

Kommen wir noch einmal zur ärztlichen Letztverantwortung zurück. Sie haben ja bereits die Schwierigkeiten mit der Idee der Letztverantwortung angesprochen. Was sollte dann aber an ihre Stelle treten?

Ich glaube, viele denken an etwas anderes, wenn sie von ärztlicher Letztverantwortung sprechen. Sie meinen damit eigentlich die ärztliche Letztentscheidung. Das heißt, dass Ärztinnen und Ärzte immer ganz am Ende auf den Fall und alle Informationen schauen – und dann entscheiden. Denn so können unter anderem ganz offensichtliche Fehler, die einer KI unterlaufen könnten, vermieden werden.

In rechtlicher Hinsicht sind Ärztinnen und Ärzte beim KI-Einsatz aber am Ende noch verantwortlich.

Es stimmt, dass sie die Instanz sein werden, die jemand zuerst angehen wird, wenn eine KI einen Fehler im Rahmen einer Behandlung machen sollte. Aber ob ein Gericht den Arzt oder die Ärztin immer verantwortlich machen wird, da bin ich mir nicht sicher. In der Medizin sind Ärztinnen und Ärzte immer wieder mit viel Ungewissheit konfrontiert. Und dann ist es nicht sinnvoll, von der Letztverantwortung in einer Situation zu sprechen.

Worin besteht dann Ihrer Ansicht nach letztlich die ärztliche Verantwortung?

Wir müssen uns fragen, worin die Verantwortungspflichten bestehen sollen. Was sollen Ärztinnen und Ärzte in jedem Fall beachten, wenn sie KI einsetzen? Man könnte beispielsweise festlegen: Die Ärztin muss immer zuerst selbst eine Diagnose erstellen, die sie heranzieht, um die Gefahr zu minimieren, dass sie automatisch einen Vorschlag einer KI übernimmt.

Was wiederum im Widerspruch zu dem Ziel steht, Ressourcen einsparen zu wollen.

Genau, deswegen muss man für jeden Anwendungsbereich einzeln entscheiden: Wie sinnvoll ist es in diesem Bereich, KI einzusetzen, um die Akkuratheit einer Diagnose zu verbessern – und nicht um Ressourcen einzusparen? Eine andere Verantwortungspflicht könnte darin bestehen, dass sinnvolle Erklärbarkeitsfunktionen von KI-Modellen genutzt werden müssen. KI-Anwendungen mit diesen Funktionen liefern nicht nur eine bestimmte Diagnose oder Therapieempfehlung. Sie versuchen auch, Gründe dafür anzuführen, warum ihre Ergebnisse korrekt sind. Auch mit Blick auf die Erklärbarkeitsfunktionen gilt jedoch: Eine One-Size-Fits-All-Lösung für alle medizinischen KI-Anwendungsfälle gibt es nicht, weil die Anwendungsfälle zu divers sind.

Was bedeutet das für die medizinische Praxis?

Man wird die Verantwortungspflichten individuell für jeden Bereich festlegen müssen. Für eine KI, die beispielsweise bei einer OP am offenen Herzen eingesetzt wird, wird es andere Verantwortungspflichten geben müssen als für eine, die beispielsweise in der Radiologie eingesetzt wird, wo ein ganz anderer Zeitdruck herrscht.

Von wem und wie sollten die Verantwortungspflichten dann festgelegt werden? Etwa als Teil von Leitlinien, über die sich Fachgesellschaften Gedanken machen?

Wir brauchen so etwas Ähnliches wie Leitlinien. Daran sollten aber nicht nur die Fachgesellschaften beteiligt sein. Und diese Pflichten sollten bereits während der Entwicklung der KI geklärt werden und nicht erst dann, wenn die KI bereits auf dem Markt ist. Mitwirken sollten Ärztinnen und Ärzte, KI-Entwicklerinnen und -Entwickler, Rechtsexpertinnen und -experten sowie Ethikerinnen und Ethiker, die an der Entwicklung beteiligt sind.

Der Königsweg, um diese Verantwortungspflichten zu etablieren, liegt also nicht darin, sie in eine Textform zu gießen und zu hoffen, dass Ärztinnen und Ärzte sie später lesen und auswendig lernen werden. Sie sollten eher in die Benutzeroberflächen der KI-Tools integriert werden, sodass es leichter wird, die Technik verantwortungsvoll zu nutzen.

Wie kann so etwas zum Beispiel aussehen?

Man kann die Benutzeroberfläche beispielsweise so gestalten, dass die KI vor der Empfehlung einer Diagnose zunächst ihre Gründe dafür angibt. So könnte bei einer KI zur Erkennung von Melanomen zunächst das Bildmaterial gezeigt werden, das besonders relevant ist. Es könnten dann Erklärungen erscheinen, die erläutern, warum diese Stellen bestimmte Lehrbuchkategorien für das Vorliegen eines Melanoms erfüllen oder nicht erfüllen. Erst am Ende wird angegeben, ob die Hautstelle als Melanom oder nicht als Melanom eingeschätzt wird.

Lassen Sie uns noch einmal einen Schritt zurücktreten und ganz grundsätzlich auf den Einsatz von KI in der Medizin blicken. Was würden Sie sagen: In welchen Fällen ist es zwingend notwendig, dass ein Mensch weiterhin in jedem Fall in der Verantwortung bleibt?

Neben der Letztentscheidung sind Menschen auch in der Kommunikation mit den Patientinnen und Patienten auf lange Sicht als menschliche Vermittler nötig. Den Patientenkontakt wird die KI lange Zeit nicht ersetzen. Das gilt vor allem für einschneidende therapeutische Fragen, bei denen es um Wertefragen geht – so wie etwa in der Onkologie. Also beispielsweise um solche Fragen, bei denen es um Abwägungen zwischen einer höheren Lebensqualität und einer längeren Lebensdauer geht. Das sind Gespräche, bei denen unglaublich viel Fingerspitzengefühl notwendig ist. Um die richtige Therapieform zu finden, braucht man Ärztinnen und Ärzte, die zunächst einmal verstehen, was für ein Mensch mit welchen Bedürfnissen und welchen Präferenzen vor ihnen sitzt. Auch in Situationen, in denen ethische Entscheidungen in Notsituationen anstehen, werden wir Menschen auf lange Sicht noch andere Menschen als Gegenüber haben wollen, glaube ich.

Andererseits: In welchen Fällen ist aus ethischer Sicht in jedem Fall eine datengetriebene KI-Komponente angebracht?

Grundsätzlich halte ich es für richtig, KI verpflichtend hinzuziehen zu müssen, wenn wir damit die Diagnostik oder Therapie verbessern können. Allerdings sollte das nicht voll automatisiert geschehen. Denn wir haben das Problem, dass diese Systeme nicht perfekt sind. Ärztinnen und Ärzte sollten immer die Möglichkeit haben, ihre eigene Einschätzung der der KI vorzuziehen.

Zum Abschluss noch: Was würden Sie jeder niedergelassenen Ärztin und jedem Arzt noch für einen verantwortungsvollen Umgang mit KI in der Medizin im Praxisalltag empfehlen?

Es ist schwer, hierzu eine Aussage zu treffen. Denn der Bereich entwickelt sich unglaublich schnell weiter. Eine Empfehlung, die aber auch noch in drei Jahren gelten dürfte, lautet: Seien Sie offen gegenüber der Technologie, informieren Sie sich über Angebote und ziehen Sie den Einsatz zumindest in Erwägung.

Was jedoch auch sehr wichtig ist: Ab und zu sollte man die KI gar nicht oder nur zur Überprüfung der eigenen Urteilskraft benutzen. Es ist sinnvoll, ab und zu Tage festzulegen, an denen man sich nicht auf KI verlässt und wie früher zuerst einmal ohne Unterstützung arbeitet.
 

Warum sollte man solche KI-Abstinenztage einlegen?

Es gibt inzwischen einige Studien, die zeigen: Wenn man ausschließlich mithilfe von KI arbeitet, lässt das die Fähigkeiten von Ärztinnen und Ärzten verkümmern – und zwar innerhalb kürzester Zeit. Es geht da nur um Zeiträume von drei bis sechs Monaten, in denen Ärztinnen und Ärzte schlechter in ihren Fähigkeiten werden.

©privat

PD Dr. Markus Herrmann leitet den Forschungsschwerpunkt KI-Ethik in der Medizin am Institut für Medizin und Datenethik an der Medizinischen Fakultät der Universität Heidelberg sowie am Nationalen Centrum für Tumorerkrankungen.