Diskriminierung statt Effizienz: Wenn die KI falsch entscheidet
Recruiting, Financing und Websuche: Der Einsatz von Künstlicher Intelligenz ist im Alltag der heimischen Konsumenten, Jobsuchenden und Informationshungrigen breitflächig angekommen. Zugegebenermaßen werden dadurch in vielen Fällen Probleme gelöst und die Effizienz – vor allem der Unternehmen – gesteigert. In den Fokus rücken aber verstärkt Verzerrungen, Ungerechtigkeiten und Diskriminierung durch von Algorithmen getroffene Entscheidungen, die enorme Auswirkungen auf das Leben von Menschen haben.
Beispiele gibt es dafür inzwischen zuhauf: Oft genannt werden verweigerte Kredite oder Versicherungen. Zudem gibt es Sprachassistent:innen, die ältere Personen nicht verstehen, und Jobplattformen, die Frauen benachteiligen. Quasi alltäglich sind (Werbe-)Angebote, die nicht alle (gleich) zu sehen bekommen. Bemerkt wird das oft gar nicht, weil Transparenz in diesen Bereichen bisher Fehlanzeige ist. Das wäre aber die Voraussetzung für „gerechtere“ Systeme und Entscheidungen.
Entsprechende Regulierungsansätze auf europäischer Ebene, etwa im AI Act, zielen auf bestimmte Mechanismen wie Deep Learning ab. „Ich würde es nicht an der Technologie festmachen, sondern an den Auswirkungen auf die Menschen. In welchen Bereichen ist es existenziell und wo stellt es ein kleineres Problem dar?“, schlägt Walter Peissl, stellvertretender Direktor des Instituts für Technikfolgen-Abschätzung (ITA) der Österreichischen Akademie der Wissenschaften (ÖAW), vor.
Fokus auf soziale Auswirkungen
Produktionsprozesse in einer Fabrik effizienter zu gestalten, habe beispielsweise weniger Impact auf Existenzen von Menschen, als ob man einen Kredit bekomme, angestellt oder früher aus dem Gefängnis freigelassen wird. „Je näher die Entscheidung am Leben der Menschen ist, umso problematischer wird es, das den Maschinen zu überlassen und nicht die Möglichkeit der Einschätzung durch einen Menschen miteinzubeziehen“, so Peissl im Gespräch mit APA-Science. Regulierung müsse die sozialen Auswirkungen von KI-Anwendungen jedenfalls stärker in den Blick nehmen, heißt es auch in einem ITA-Dossier zum Thema.
Wo Konsument:innen bereits auf Künstliche Intelligenz (KI) treffen und was die damit verbundenen Probleme sind, hat sich Louise Beltzung vom Österreichischen Institut für Angewandte Telekommunikation (ÖIAT) im Rahmen einer Studie angesehen. So würden Sprachassistent:innen zum Beispiel ältere Menschen, weibliche Personen oder auch Dialekte schlechter erkennen. „Das betrifft etwa die Tonlagen und die Geschwindigkeit der Sprache. Außerdem braucht es für die Kommunikation eine gewisse Formulierungskompetenz, die Kindern schwer fällt“, erklärte Beltzung, die darauf verweist, dass diese Produkte als zugänglicher als Geräte mit Bildschirm und Tastatur vermarktet würden.
Die Daten von anderen smarten Geräten, wie Fitnesstrackern, werden von Versicherungen für die Prämienkalkulation herangezogen. Wer gesünder lebt, bezahlt weniger. „Noch ist das freiwillig, aber letztendlich könnte dadurch das traditionelle Konzept von Risiko- beziehungsweise Solidargemeinschaften ausgehöhlt werden, bei anderen Verbrauchergeschäften Verbreitung finden und damit soziale Ungleichheiten verstärken“, gibt die Expertin zu bedenken.
Personalisierung von Angeboten und Inhalten
Viele Ungerechtigkeiten seien auf die Personalisierung von Angeboten, Inhalten oder Preisen zurückzuführen, die aber auch Vorteile für Konsument:innen bieten würde. „Amazon ohne KI wäre unbrauchbar. Wir bekämen einfach ständig dieselben Produkte angezeigt. Personalisierung wird oft als bequem oder angenehm empfunden“, so Beltzung. Vergleichbarkeit und Nachvollziehbarkeit würden dadurch allerdings immer schwieriger.
„Wenn jemand systematisch teurere Hotelzimmer angezeigt bekommt oder Netflix ausgeklügelt ermittelt, was die Leute sehen wollen, und Ankündigungsbilder, die Anordnung und teilweise die Beschreibungen entsprechend verändert, bekommt jeder etwas anderes zu sehen. Aus der Einzelperspektive ist nicht mehr zu eruieren, warum es zu bestimmten Empfehlungen kommt oder nicht“, erläuterte die Forscherin. Theoretisch möglich wäre auch, die Beschreibungen in Onlineshops anzupassen. Interessante Ansätze gebe es, die Werbung innerhalb von Serien und Filmen zu personalisieren. Da tauche dann ein bestimmter Banner oder eine bestimmte Biermarke auf.
„Der größte Markt wird jede Art von KI-gesteuerter Werbung sein“, meint auch Peissl. „Sobald man auf eine Website geht und der Rechner die Seite aufbaut, laufen im Hintergrund Auktionen ab, bei denen unterschiedliche Werberinge unterschiedlich viel für eine Einblendung zahlen. Die Website XY übermittelt, dass es sich um einen User der Kategorie Z handelt, er also so und so alt und männlich, in einer urbanen Umgebung wohnhaft und akademisch gebildet ist“, so Peissl. Andere Computer würden darauf reagieren und dann um einen Zehntel oder Hundertstel Cent mehr für die Einschaltung zahlen. Sobald die Seite aufgebaut sei, bekomme man die Werbung präsentiert, die für einen adäquat erscheint. Übertragen auf den Social Media-Bereich und politische Werbung führe das zu demokratiepolitischen Debatten.
Podcast: Wie Algorithmen unser Leben beeinflussen
Eine unverzerrte oder „ungebiaste“ Internetsuche im engeren Sinne „gibt es nicht“, so Astrid Mager vom Institut für Technikfolgen-Abschätzung. Sie beschäftigt sich mit Suchmaschinen. Zum Beispiel sucht sie nach Alternativen zum Branchenprimus Google, der durch seine Nahezu-Monopolstellung zu einem wichtigen Gatekeeper des Wissens wurde. Im APA-Science-Podcast „Nerds mit Auftrag“ erzählt die Sozialwissenschafterin, wie durch den Einsatz von Algorithmen strukturelle Diskriminierung entsteht und beispielsweise der Computer-Algorithmus des Arbeitsmarktservice (AMS) soziale Ungleichheit fördern kann.
Viel Diskriminierungspotenzial gibt es anscheinend im Personalwesen. So hätten die Empfehlungsalgorithmen auf der Plattform LinkedIn Kandidatinnen in unbeabsichtigter Art und Weise systematisch schlechter bewertet als Männer, erzählte Beltzung. Hintergrund sei, dass sich Männern eher auf Stellen bewerben, die über ihre Qualifikationen hinausgehende Berufserfahrung erfordern, während sich Frauen vor allem bewerben, wenn ihre Qualifikationen den Anforderungen des Jobs ziemlich genau entsprechen. Der Algorithmus interpretierte dieses unterschiedliche Verhalten und passte seine Empfehlungen an, was dazu führte, dass Männern höhere Positionen empfohlen wurden.
Unternehmen setzen auf die Idee der Psychometrie
Auch im Bewerbungsprozess ist KI ein vielversprechendes Hilfsmittel. Ein Versprechen, das aber nicht eingelöst wird, befindet Doris Allhutter, die wie Peissl am Institut für Technikfolgen-Abschätzung (ITA) der ÖAW tätig ist. „Automatisierte Software wird in unterschiedlichen Phasen des Einstellungsprozesses verwendet. Das Ziel ist, Biases rauszubekommen, weil Recruiting durch die menschlichen Entscheidungen sehr fehleranfällig und damit kostspielig ist. Hier wird verstärkt auf die Idee der Psychometrie gesetzt und ausgehend von der Psychologie versucht, Fähigkeiten und Persönlichkeitsmerkmale von Menschen messbar zu machen – etwa durch Sprach-, Video- oder Verhaltensanalysen“, so Allhutter.
Die Annahme sei, dass man Fähigkeiten und Persönlichkeit nicht mehr aus einem Lebenslauf oder Bewerbungsgespräch herausfiltern kann, sondern einen feingliedrigen Messapparat braucht. „Alles, was Menschen für sich ins Treffen führen, wird hinterfragt. Man setzt auf objektivierte Maßstäbe, um Informationen zu bekommen, die anscheinend nur datengetrieben gewonnen werden können. Es wird versucht, auf den Kern des Menschen, die Authentizität und die körperliche Wahrheit dessen, was er sagt, zu kommen“, erklärte die Expertin. Die Annahme, dass die automatisierten Systeme neutraler, emotionsloser, rationaler und effektiver sind, um menschliche Bauchentscheidungen zu kompensieren, habe sich aber nicht verwirklicht: „Es gibt keine wissenschaftliche Evidenz, dass das in irgendeiner Art und Weise funktioniert. Kostenersparnis und Effizienz sind eine Illusion.“
Ungerechtigkeiten werden automatisiert
Die Anbieter der Messsysteme würden behaupten, dass man alle Menschen gleich vermessen kann. Sie seien aber über ihr Leben hinweg keine stabilen Persönlichkeiten, die sich in solchen Metriken abbilden lassen, und würden unterschiedlich auf die Technologien, mit denen sie konfrontiert sind, und die Bewerbungssituation reagieren, sagte Allhutter. Man habe erkannt, dass diese Systeme nicht neutral seien und sogar diskriminierende Entscheidungen aufgrund von verzerrten Daten automatisieren würden. „Wenn man Anti-Diskriminierung oder Diversität in einer Organisation stärken will, braucht es eine Investition auf der Ebene der Organisationskultur“, so Allhutter gegenüber APA-Science.
Manche Angebote würden interessant klingen, wie beispielsweise der Recruiting-Roboter Tengai, der nicht-diskriminierende Bewerbungsprozesse unterstützen und Diversität im Unternehmen fördern soll. Er wird den Angaben zufolge anhand des Verhaltens von Menschen trainiert und soll menschliche Recruiter:innen replizieren, die hinsichtlich Verzerrungen und Diskriminierungen speziell ausgebildet sind. „Das ist an sich eine gute Idee und ein ethisches Ansinnen, aber die Annahme dahinter bleibt die gleiche: Man denkt, dass alle Menschen von dieser Interaktion mit dem Roboter unbeeinflusst bleiben werden und dass ihre Reaktion auf die Fragen auf den Kern ihrer menschlichen Eigenschaften schließen lässt und nicht auf die Situation“, erläuterte die Technikforscherin.
Bei den Arbeitnehmer:innen führe der Einsatz dieser Systeme zu einem kompletten Kontrollverlust über die eigenen Daten. „Wir wissen als Bewerber:in nicht mehr, was eigentlich gemessen und wie es interpretiert wird. Damit verändert sich auch die Beziehung zwischen Arbeitgeber:innen und Arbeitnehmer:innen. Man wird als Mensch eher als modulare Komponente wahrgenommen, die aus bestimmten Fähigkeiten und Eigenschaften besteht. Das ist vom Menschenbild her weder für Arbeitnehmer:innen noch für Unternehmen günstig“, befindet Allhutter.
Eignung durch Stimmanalyse errechnen
Dass KI bessere Analysen liefern kann, bezweifelt auch Beltzung. Entsprechende Diagnosen seien wissenschaftlich sehr strittig und könnten zu Diskriminierung oder zu unerwünschten Effekten führen. Das Start-up HireVue analysiere beispielsweise die Mikroexpressionen und die Stimmlage von Bewerber:innen, um deren Eignung für offene Stellen zu errechnen. Kintsugi wiederum setze KI ein, um psychische Erkrankungen in der Stimme von Konsument:innen zu erkennen und zu diagnostizieren.
Andere Anbieter würden versuchen, Emotionen in Gesichtern zu analysieren und das beispielsweise mit Pulsmessungen zu kombinieren, um Aussagen zu den Persönlichkeitsmerkmalen treffen zu können. Wichtig sei vor allem Transparenz, denn derzeit denke kaum wer daran, von einem KI-System diskriminiert worden zu sein, wenn er einen Job nicht bekommt.
Die Transparenz der Systeme, die Öffnung der Blackbox und die Oberhoheit der Entscheidung durch Menschen sind wesentliche Punkte, unterstrich Peissl. Es müsse klar sein, was das System gemacht hat, wie es das gemacht hat, wer die Regeln aufstellt und wessen Werte in die Gestaltung einfließen. „Das heißt nicht, dass man jede einzelne Entscheidung nachvollziehen muss, aber es muss auf das System zurückzuführen sein, welcher Art die Entscheidungen sind“, so der Technikfolgenabschätzer. Transparenz sei aber erst der Anfang: „Transparenz ist nur, dass ich es sehe. Verständlichkeit heißt, ich weiß, was es ist. Bei der Interpretierbarkeit verstehe ich, wie es funktioniert. Bei der Erklärbarkeit, weiß ich, wie das Ergebnis zustande gekommen ist und warum. Es gibt Forschungsansätze, das lernende System lernen zu lassen, aber zugleich ein Modell einzubauen, das Erklärungen liefert.“
Es reiche nicht, zu wissen, dass mit einer Wahrscheinlichkeit von 99 Prozent auf einem Foto eine Katze erkannt worden sei. Vielmehr müsse begründet werden, dass diese Einschätzung zustande gekommen ist, weil ein Fell, bestimmte Augenbrauen, Ohren und Krallen zu sehen sind. „Dann kann ich als Mensch verstehen, worauf die Entscheidung fußt, und auch Fehler korrigieren. Aktuell gibt es Methoden, die so viele Verknüpfungen machen, dass die Wege nicht mehr nachvollziehbar sind. Wenn es nicht transparent ist, bin ich aber immer auf das System und damit auf jene, die dieses System gebaut haben, und ihre Interessen, die ich nicht immer kenne, zurückgeworfen“, sagte Peissl.
Keine Kreditkarte wegen „falscher“ Adresse
Universitätsassistent:innen, die auf der falschen Straßenseite wohnen und damit keine „gute“ Adresse haben, bekommen keine Kreditkarte einer bestimmten Firma. Digitale Assistent:innen wie Siri oder Alexa reagieren auf unterschiedliche Sprache, auf unterschiedliche Personen unterschiedlich (siehe „Maschinen mit Erklärungsbedarf“). Amazon analysiert, mit welcher Dynamik man beim Einkauf sein Keyboard betätigt und zieht Schlüsse über den aktuellen Bewusstseinszustand. „Auch bei diesen Beispielen taucht die Frage auf, welches Modell hier dahinter steht. Denn es geht immer um den Abgleich eines Modells mit der realen Situation, in der das System gerade reagieren muss“, so der Experte.
Von großer Bedeutung seien dabei die Trainingsdaten. „Wenn sie gut mit mir oder meiner Lebenssituation korrelieren, dann wird das System möglicherweise nicht weit von dem liegen, was ich wirklich will. Wenn das System aber anders trainiert wird, dann wird es mich zu Entscheidungen verführen, die meinem wirklichen Wollen nicht entsprechen“, erklärte Peissl. Würden die Trainingsdaten zu einem großen Teil aus Amerika stammen, habe das Auswirkungen auf europäische Konsumenten.
Transparenz sei aber nicht für alle in gleichem Ausmaß notwendig. Es könne nicht sein, dass Konsument:innen individuell herausfinden müssten, ob sie bei A oder B einkaufen, weil die KI von einem besser ist. Intermediäre müssten laut Peissl für die Konsument:innen im Vorfeld überprüfen, dass die Technologie keinen Bias hat und die Systeme vertrauenswürdig sind. „Wenn Sie sich erkundigen wollen, wie die algorithmische Reihung von Händlern bei Amazon funktioniert, dann werden Sie Informationen dazu finden. Man könnte Stunden damit verbringen, sich als Konsument:in zu informieren. Aber wer macht das schon?“, meint auch Beltzung.
„Es gibt einen Vorschlag der AI Ethics Impact Group, ähnlich den Farbcodes bei Kühlschränken auch für KI-Systeme abzubilden, wo das System seine großen Vorteile oder Nachteile hat“, so Peissl. Es werde aber etablierte Gremien brauchen, die das überwachen, ebenso wie eine Beteiligung der Stakeholder:innen. Sich früh mit Biases, Akzeptanz, Gerechtigkeit und Co. zu beschäftigen, mache ja ökonomisch Sinn. „Letztendlich müssen wir wissen, in welchen Bereichen wir uns auf die Technik allein verlassen können und wo es tatsächlich einer Entscheidung durch einen Menschen bedarf, weil das System nur ein Vorschlagsrecht hat.“