Nicht weniger als 48 Arten von Bias-Typen listet die Website anti-bias.eu auf. Einer ist der „Bias in Künstlicher Intelligenz“, der auf unausgewogenen oder fehlerhaften Daten basiert und zu Diskriminierung führen kann. Spiel illustriert ihn anhand eines Beispiels aus der medizinischen Forschung: „Da gibt es ein Datenproblem. Die meisten Studien basieren einfach auf weißen Männern. Bei intergeschlechtlichen Menschen gibt es virtuell keine Daten, nicht einmal Referenzen für Blutwerte.“ Das liege mitunter an der Wahrscheinlichkeitsmodellierung. „Alles basiert auf Wahrscheinlichkeiten, das ist der Kern. Wenn man eine ziemlich unwahrscheinliche Person ist, wird man immer ausgeschlossen.“ In dieser Hinsicht ginge es nicht diskriminierungsfrei, das sei jedoch weniger das Problem, sondern sowohl unser bewusster wie auch unbewusster Umgang mit möglichen Diskriminierungen. „Welche Rolle hat Technologie, das ist eine Frage mit normativem Charakter und da müssen wir uns fragen, was wir eigentlich wollen?“

Es sei nicht der Fall, dass die Leute, die entwickeln, etwas Böses wollten. Es fehle einfach an Ausbildung, kritisch zu hinterfragen. Dies sei schon an den Universitäten ein Problem. Spiel hat einen IT- und einen kulturwissenschaftlichen Hintergrund, jedoch gebe es nicht so viele Personen, die beides studiert hätten. „An der TU Wien lehre ich Informatikstudierende ‚Kritische Theorie‘. Das gibt es aber nicht oft, international schon gar nicht.“

Die „Bullshit-Prophecies“ des AMS-Algorithmus

Die fehlende Reflexion sieht auch Clemens Apprich von der Universität für angewandte Kunst als problematisch, gemeinsam mit einer überhöhten Erwartung an Technik. „Es gibt keine technische Lösung für ein politisches Problem.“ Außerdem dürfe man nicht vergessen, dass Diskriminierung politisch und technisch zu verstehen sei. „Wir sind auf Mustererkennung in den Daten angewiesen. Um Informationen aus Daten zu erhalten, muss ich diskriminieren“, erklärt er mit Blick auf die ursprüngliche Wortbedeutung von „discriminare“: unterteilen, entscheiden. Im Englischen spreche man sogar von einer „discriminated choice“ im Sinne einer „informierten Entscheidung“. „Wenn ich einen großen Datensatz durchgehe, kann ich nicht nicht diskriminieren.“ Allerdings bedürfe es Reflexion über die Hauptannahmen, mit denen die Analyse durchgeführt wird. Die haben einen normativen Charakter und sind damit eben nicht objektiv und frei von menschlichen Wertungen, wie zum Beispiel beim Clustering in der Statistik. Hierbei werden Daten auf Basis von Zusammenhängen gruppiert. Hierarchisches Clustering basiert dabei auf der Distanz zwischen Punkten, nicht-hierarchisches Clustering auf Gruppenaufteilungen.

Ähnlich ist das soziologische Konzept der (sozialen) Homophilie, wonach Menschen eine Tendenz haben, mit ihnen ähnlichen Menschen in Interaktion zu treten. Alltagssprachlich nennt sich das „Gleich und gleich gesellt sich gern“. „Beim Clustering bzw. der Homophilie geht man davon aus, dass Datenpunkte bedeutend sind, wenn sie möglichst nah aneinander liegen. Aber warum? Wir könnten auch davon ausgehen, dass extreme Datenpunkte Bedeutung aufweisen.“ An dieser Stelle müsse man epistemische Grundsätze durchbrechen. So könne man diese Systeme verwenden und diskriminieren, ohne diskriminierend zu sein. „Es darf keine Verfestigungen geben, die zu den sogenannten ‚Bullshit-Prophecies‘ führen.“ Als Beispiel für solche nennt er den AMS-Algorithmus.

„Wir nehmen teilweise jahrzehntealte Datensätze, der Algorithmus liest in denen die diskriminierenden Muster heraus und wendet genau diese dann auf die Zukunft an.“ Dies sei letztlich eine selbsterfüllende Prophezeiung, man setze Vergangenheit und Zukunft in eins und leite daraus die Zukunft ab. Richtiger würde man es mit Klimamodellen machen. „Die leiten die Zukunft zwar auch aus der Vergangenheit ab, aber dies wird als politischer Anreiz genommen, diese modellierte Zukunft eben nicht eintreten zu lassen.“ Der AMS-Algorithmus sollte daher als Hinweis betrachtet werden, nicht so weiterzumachen wie bisher. Spiel sieht es genauso. „Es ist erst einmal ja nicht falsch, der AMS-Algorithmus bildet die Realität ab, es gibt beispielsweise schlechtere Jobchancen für Frauen.“ Diese Information sei korrekt. „Nur die Konsequenz ist dann, dass eine Ressource weggenommen wird, weil es ein systemisches Bias gibt. Damit verstärkt man die Ungleichheit, die schon existiert.“ Da lohne es sich nicht zu investieren, sei die erste Reaktion. Dabei könne man genauso gut dagegen arbeiten. „In einer faireren Gesellschaft würde versucht werden, einen Ausgleich zu schaffen.“

Mehr Daten lösen das Problem nicht

Eher aus dem Bereich des Mythos hingegen komme der oft genannte Lösungsvorschlag, es würden einfach mehr Daten benötigt. Apprich: „Das Problem der Datendiskriminierung ist nicht mit besseren Daten oder Modellen zu beheben. Das hat schon Google mit seinen riesigen Ressourcen versucht. Die bekommen das Problem, dass etwa Schwarze Menschen als Tiere gelesen wurden, auch nicht in den Griff und sagen dann: ‚Wir brauchen mehr Daten.‘“ Vielleicht liegt das Problem aber in den Systemen selbst, die ja dazu da sind zu segregieren. Zu diesem unter dem Begriff „pattern discrimination“ bekannten Phänomen hat Apprich mit Kolleginnen und Kollegen 2019 ein Open-Access-Buch publiziert.

Die Fortführung von Diskriminierungen mag mitunter daran liegen, dass wir uns laut Spiel grundlegende Dinge nicht mehr anschauen. „Rami Ismail (niederländischer Videospielentwickler, Anm.) hat bereits darauf aufmerksam gemacht, dass der Unicode nicht dafür ausgelegt ist, dass es Sprachen gibt, die nicht von links nach rechts geschrieben werden.“ Der Unicode lege fest, wie Schrift elektronisch gespeichert wird und ist damit eine Grundlage für die digitale Welt. „Wie wir Schrift auf den Computer bringen ist fundamental, nur wir schauen es uns nicht mehr an.“ Ein weiteres Beispiel sei die Geschlechtsbinarität „Mann-Frau“ in vielen, besonders älteren, Datenbanken. „Wir gehen damit weiter und so schreiben sie sich ein.“ Das ist eine Thematik, die über den IT-Bereich hinausgehe, hier schrieben sich Normen in Datensätze ein.

Über die Binaritätsobsession in Datenbanken hat Spiel 2021 bereits veröffentlicht. Doch Normen müssten gesellschaftlich verhandelt werden. Spiel: „Wir wissen noch nicht, wie wir über nicht-binäre Personen reden, das haben wir gesellschaftlich noch nicht ausgehandelt. Es fehlen die Normen für Menschen, die gendergerecht schreiben und sprechen wollen.“ Das sei ein Problem für Corpora, sprich Datenmaterial, die unterschiedlichen Systemen zugrunde lägen. „Es zeigt sich, dass die Systeme nicht allein lernen können, sie werden immer hinterher sein. Es kann keinen Erkundungsbias hineinnehmen, es wird immer historisch sein.“ Die Systeme können nur auf Corpora aus der Vergangenheit aufbauen, die deutlich weniger progressiv waren, als es die Gegenwart sei oder man es für die Zukunft hoffen könne.

Künstliche Intelligenz zweifelt nicht – sie macht, was Menschen ihr sagen

Eine weitere Schwierigkeit läge an unseren überhöhten Erwartungen an technische Systeme. Spiel: „Es gibt ein popkulturelles Bild davon, was die alles können. Das ist interessant als Gedankenexperiment oder für Science-Fiction, aber in der realen Welt sind das gar nicht so schlaue, menschenähnliche und eigene Gedanken fassende Systeme.“ Ein Beispiel sei ein von der EU-gefördertes Schema für Quantenforschung. „Da gibt es die Hoffnung, dass man irgendwann alles Komplexe berechnen kann.“ Dabei müsse man hier schon fragen, ob das überhaupt möglich ist. Und ein eigentlich wichtiges Kriterium von Wissenschaft fehle ganz: der Zweifel. „Man muss immer Raum für Zweifel lassen, der ist essenziell. Künstliche Intelligenz zweifelt überhaupt nicht.“ Dabei sei schon die Erwartung an KI letztlich eine selbsterfüllende Prophezeiung. „KI ist dann intelligent, wenn sie das macht, was man ihr zuvor sagt.“ Dabei gebe es unterschiedliche Formen von Intelligenz.

Apprich geht noch weiter: „Alle sprechen von KI, für mich gibt es das überhaupt nicht. Jede Intelligenz ist künstlich, wir waren also immer schon künstlich intelligent, so wie die Intelligenzdiagnostik selbst auf künstlich geschaffenen Tests beruht.“ Überdies gebe es ein wissenschaftstheoretisches Problem: „Der derzeitige Königsweg des maschinellen Lernens sind neuronale Netze. Die sind aber extrem induktiv, die brauchen – so zumindest die Behauptung – keine Theorie mehr, keine Deduktion. Das sind nur noch Input-Output-Berechnungen, als ob Induktion der einzige Wissenschaftsweg wäre, den wir kennen.“ Dass dem nicht so ist zeigt ein Blick auf die abduktiven Verfahren von Charles Sanders Peirce oder Karl Poppers Kritischen Rationalismus und seinen deduktiven Falsifikationismus, auf den sich einige Methodenbücher als Goldstandard beziehen und der Induktion als wissenschaftliche Methode abgelehnt hat.

Genau das macht aber KI. Dagegen könne man deduktiv oder abduktiv vorgeben, was ein gewünschter Outcome ist und wie man dahin gelangt, erklärt Apprich. Als Tool, das Diskriminierung erst einmal feststellt und nicht perpetuiere. „Wie kann ich das System umdrehen und daraus ein Analysetool machen“, fasst Apprich die Aufgabe zusammen. Auch er betont die Bedeutung von Zweifel. „Man kann es mit dem Mathematiker und Logiker Kurt Gödel paraphrasieren, es gibt neben den Zahlen noch die Welt. Wissenschaft ist nicht nur Berechenbarkeit.“ Dasselbe betont Spiel: „Es gibt keine super objektive Sprache, nichts ist interpretationsfrei.“ Nicht einmal die Mathematik. „Richard Buckminster Fuller (US-amerikanischer Architekt, Systemtheoretiker und Futurist, Anm.) hat zum Beispiel vorgeschlagen, die euklidische Geometrie von Vektoren aus zu konzeptualisieren und nicht zweidimensional auf einem Blatt Papier oder an einer Tafel. Auch in der Statistik geht es darum, wie kategorisieren wir.“

Welcher Forschungsfrage unter welchen Aspekten Priorität verliehen werde, darüber könne man konsequent verhandeln. Nur das seien eben normative Prozesse, die dem Outcome von technischen Systemen zugrunde liegen. Apprich: „Für Innovationen brauchen wir Normunterbrechungen, denn die machen Innovation überhaupt erst möglich. Die glänzende Oberfläche von digitalen Kulturen müssen durchbrochen werden.“ Vielleicht müsse es mehr ins Bewusstsein rücken, dass „kein Wissen völlig objektiv und neutral ist, es gibt immer einen subjektiven Restgehalt.“ Unabhängig davon, ob es digital oder menschlich gewonnen wurde. „Das erfordert neue Denkmuster und mehr Interdisziplinarität. Kulturwissenschaften und Data Science sprechen noch nicht besonders lange auf Augenhöhe miteinander.“ Dies sei jedoch nötig, mit Blick auf das Digitale bedürfe es einen Prozess von Entwicklung-Reflexion-Entwicklung-Reflexion.

Dieser Prozess wird dabei genauso wenig jemals abgeschlossen sein, wie eine Gesellschaft niemals ein abgeschlossenes Resultat sein kann. Spiel: „Es ist problematisch, dass Technologien unflexibel sind. Der Code kompiliert oder nicht.“ Kompilieren ist die Übersetzung von Sprache in binären Code bzw. umgekehrt. Man müsse vorsichtig sein, problemlösungsorientiert zu arbeiten ohne anschließend Änderungen vorzunehmen, denn es hat ja schon kompiliert. „Dann könnte man eine parallelontologische virtuelle Realität schaffen, in der Sachen verfestigt werden, die nicht in ihrer Komplexität mitgedacht werden.“