Künstliche Intelligenz (KI) dringt mit großen Schritten in existentielle Bereiche des alltäglichen Lebens vor. Sie unterstützt in der medizinischen Diagnostik, automatisiert die Rechtsprechung und entscheidet über die Kreditwürdigkeit. Dabei bremst die KI jedoch eine zentrale Schwäche: Dieselbe Technik, die seit einem Jahrzehnt immer neue Schlagzeilen liefert, Großmeister im Schach und Ärztinnen und Ärzte in der Radiologie übertrumpft, hat für ihre Entscheidungen und Urteilsfindung kein erklärendes Narrativ. Denn während wir von einer Ärztin oder einem Richter eine Begründung erwarten und erhalten können, liefert uns Künstliche Intelligenz keine Antwort auf ihr „Wieso“.

Inspiriert von der Funktionsweise menschlicher Gehirnzellen, lernen künstliche Neuronale Netze (NN) – als „Motor der KI-Revolution“ – aus großen Datenmengen die Grundbausteine der einzelnen Datenpunkte. Durch komplexes Kombinieren dieser Grundbausteine in Hierarchien, sogenannte Features, lernen die Netze diese Datenmengen zu verstehen und lösen Aufgaben wie Lokalisieren und Klassifizieren mit zuvor unerreichbar hoher Genauigkeit. Die Netze finden dabei selbst die Gruppe an Bausteinen, die alle untersuchten Daten am besten charakterisiert. Bei der Bildersuche moderner Mobiltelefone beispielsweise handelt es sich bei den gefundenen Grundbausteinen um Kanten, Linien und Kreise. Mit Hilfe dieser Features kann das Handy sowohl Gesichter, Sonnenuntergänge als auch Cupcakes verlässlich identifizieren und innerhalb eines Bildes lokalisieren. Ganz allgemein lässt sich jedoch noch nicht beantworten, wie dieses innere Zusammenspiel aus grundlegenden Mustern und konkretem Resultat funktioniert. Es fehlt eine kanonische Beschreibung zwischen der Eingabe und dem Ergebnis eines NN. Wurde ein NN etwa dazu trainiert, Mammografie-Aufnahmen nach Brustkrebs zu klassifizieren, dann tut es das mit der Präzision einer Radiologin oder eines Radiologen. Welche Merkmale es dabei gelernt hat, welche davon konkret für die Klasse einer Aufnahme relevant sind und ob sie semantischen Konzepten der Realität entsprechen, bleibt dabei ganz allgemein im Dunkeln. Das hat weitreichende Konsequenzen.

Richtig und falsch ist komplexer als die Unterscheidung zwischen 0 und 1

Dabei sind nicht alle Fehler gleich. Suchen wir in unserem Telefon nach Bildern vom Meer und erhalten doch als Resultat den See, ist das wohl von kurzem Ärger. Anders ist es allerdings, wenn die KI eine vielversprechende Bewerbung fehlerhaft aussortiert oder gar ein selbstfahrendes Auto eine Fußgängerin nicht erkennt. In diesem hochriskanten Kontext gelten ethisch und rechtlich hohe Auflagen. Hier muss die KI fehlerfrei und auch nachvollziehbar sein. Aber was bedeutet das ohne genauere Erklärung? Da NN keine Antwort auf das „Wieso“ geben können, bedarf es eines Hilfsmittels: einem Wert, den wir messen können, dessen Charakteristiken wir kennen und von dem begründet angenommen werden kann, einen plausiblen Rückschluss auf das „Wieso“ zu ermöglichen. Klassischerweise sind das in der KI aggregierte Werte über eine eigens dafür zusammengestellte Testdaten-Sammlung. Im Kontext der Medizin sind das etwa Sensitivität und Spezifität einer Klassifikation, also Werte, die das Verhältnis von richtig zu falsch im Durchschnitt beschreiben. Das sieht allerdings recht anders aus als z.B. die Erklärung eines Arztes oder einer Richterin, die zu einem konkreten Fall Stellung beziehen. Somit entsprechen solche Statistiken nicht unserem Verständnis einer genauen Antwort. Fehlerfrei oder nicht, sie umfassen keinen Kontext, um wirklich für uns Menschen nachvollziehbar und verständlich zu sein.

Wie fehlerfrei oder richtig ein KI-Ergebnis ist, steht immer im Bezug zu den Daten, aus denen die Künstliche Intelligenz gelernt hat. Für die KI bilden diese Daten die gesamte Welt ab. Anders als Menschen, lernen NN daraus nur in engen Grenzen zu generalisieren. Ist der Mensch in der Lage, eine Halskette in einem Prospekt, auf Urlaubsfotos oder Röntgenaufnahmen wiederzufinden, stellt dies für eine KI drei distinkte Aufgaben dar, für die sie typischerweise unterschiedliche Features lernt. Um robuste, nachvollziehbare Aussagen zu bekommen, müssen die Trainingsdaten deswegen hohen Qualitätskriterien entsprechen. So müssen sie die Welt, in der die KI-Entscheidungen, sogenannte Vorhersagen, treffen soll, repräsentativ abbilden. Man spricht hier von unabhängig, aber identisch verteilten Daten zwischen Eingabe und Training. Allgemein ein kaum erreichbares Ziel, ist dies ausgerechnet in Hochrisikobereichen wie der Medizin a priori eine nicht bewältigbare Hürde. Sie würde letztlich bedeuten, Datensammlungen zu schaffen, die die gesamte Bevölkerung repräsentativ abdecken. Neben Merkmalen wie Geschlecht und Alter umfasst das auch seltene Vorerkrankungen. Erschwerend kommt die Zeitkomponente hinzu. Jede noch so ideale Sammlung bildet einen Ausschnitt der Realität zu einem bestimmten Zeitpunkt ab. Dem gegenüber steht eine dynamische Realität, in der sich Bildgebende Verfahren und vorherrschende Pathologien ändern. Beispielsweise zeigen Lungenröntgenaufnahmen von vor 2020 typischerweise keine Covid-19-bedingten Veränderungen, was heute so nicht mehr die Norm ist. Für NN bedeutet das, dass ihre gelernten Bausteine möglicherweise nicht mehr ausreichen. Die KI versucht Muster zu finden, die nicht mehr hier sind oder die sich in ihrer Beschaffenheit verändert haben. KI ist in diesem Sinn ihrer Eingabe gegenüber nie neutral, sie versteht die Welt typischerweise in Stereotypen; ein Effekt, der auch als bias (Englisch für „Vorurteil“) bekannt ist. Je weiter die tatsächliche Eingabe davon entfernt ist, desto unsicherer und fehleranfälliger wird die Antwort des Systems. Ein Umstand, den die meisten KIs allerdings gerne unterschlagen.

Richtig, fair und nachvollziehbar sind in der KI-Forschung eng verknüpft

Die Sicherheit einer NN-Aussage – also wie statistisch relevant ist die Vorhersage eines KI-Models – ist damit von der Relation zwischen den zugrundeliegenden Trainingsdaten und der konkreten Eingabe abhängig. Eine valide und nachvollziehbare Vorhersage muss neben der eigentlichen Entscheidung (beispielsweise unauffällig vs. pathologisch) auch diese Information mittransportieren. Dabei ist richtig  ein zu wenig deutlich bestimmter Begriff, denn abhängig von der konkreten Anwendung verschiebt sich seine Bedeutung. Die Antwort eines NN, das darauf optimiert wurde, einen möglichst niedrigen Durchschnittsfehler auf einem Test-Datenset abzugeben, sieht typischerweise anders aus als eine, die möglichst fair sein soll. Während es für aggregierende Metriken vorteilhaft sein kann, kleine Untergruppen zu vernachlässigen, hat ein faires Modell das Ziel, für jede Teilmenge ebenso die richtige, statistisch robuste Aussage zu treffen. Wieder diktiert der Kontext die Bedeutung: Fair im juristischen Sinn ist etwas anderes als fair im medizinischen Sinn. Während wir im ersten Fall immer dieselbe Antwort unabhängig des Geschlechts erwarten, wäre das in der Medizin fatal.

Richtig ist dabei eng verwoben mit nachvollziehbar. Eine Vorhersage ist richtig im Sinn des Fragenden, d.h. des Anwenders der KI. Sie muss eine Antwort auf seine Frage sein. Anders als ein typisches NN versucht etwa eine Ärztin Krankheitsbilder auszuschließen. Neben der richtigen (aber unbekannten) Antwort ist auch die Differentialdiagnose (Was könnte es sonst sein?) von gleicher Bedeutung. Die Vorhersage, „Tuberkulose, mit einer Wahrscheinlichkeit von 84%“, wird dabei nicht gleich viel helfen wie: „Das Bild entspricht in 95% der Fälle Tuberkulose, Lungenemphysem oder Sarkoidose“, das ihrer Arbeitsweise entspricht. Nachvollziehbar heißt damit nicht unbedingt die innere Mechanik der KI zu verstehen, sondern ein mentales Modell zu bieten, das statistisch belastbare Antworten gibt, die der Erwartungshaltung der Anwenderin oder des Anwenders, was Antworten ausmacht, entsprechen. Indem die Anwenderin oder der Anwender dort abgeholt werden, wo sie arbeiten, wird Akzeptanz und Vertrauen gestärkt.

Die KI denkt, der Mensch lenkt

Das richtige Funktionieren einer KI ist damit immer anwendungs- und benutzerabhängig. Richtig beschreibt dabei das Zusammenspiel der Daten, auf denen die KI trainiert wurde, die Metrik, die zur Beurteilung herangezogen wurde, die Relation der Eingabe zu den Trainingsdaten und der Adäquatheit der Antwort-Aufbereitung.  Um Künstliche-Intelligenz-Anwendungen auch in Hochrisikogebieten zu ermöglichen, ist es notwendig, jeden dieser Punkte transparent darzulegen. Das Gebiet der Explainable AI (XAI) oder Trustworthy AI hat sich genau das zur Aufgabe gemacht: Anwenderinnen und Anwendern die Sicherheit zu geben, nicht einfach einem Orakel gegenüber zu sitzen, sondern einem Gegenüber auf Augenhöhe.