Mit den aktuellen und geplanten Vorschriften wird man die Probleme mit digitalen Stereotypen kaum in den Griff bekommen, meint der Wiener Jurist Nikolaus Forgó: „Es ist ein bisschen zu optimistisch, zu glauben, dass man in irgendein Gesetz etwas hineinschreibt, und dann wird die Welt besser.“ Der Ball liegt laut Experten bei den Entwicklern, mit Sozialwissenschaftern diskriminierungsfreie Datensätze und Algorithmen für eine gerechtere digitale Welt zu schaffen.

Problemkind Datenschutzgrundverordnung

Derzeit bietet nur die Datenschutzgrundverordnung der EU (EU-DSGVO) eine rechtliche Handhabe gegen stereotype digitale Diskriminierung. „Dort gibt es einen Artikel 22, in dem steht, dass automatisierte Entscheidungen verboten sind“, berichtet Forgó, der am Institut für Innovation und Digitalisierung im Recht der Universität Wien arbeitet: „Jeder Einzelne von uns hat demnach im Prinzip das Recht darauf zu bestehen, nicht zum Objekt einer ausschließlich automatischen Entscheidung gemacht zu werden.“ In jenem Artikel 22 gibt es aber auch drei explizite Ausnahmen, die fast alles wieder zunichte machen: Erstens gilt dieses Verbot nicht, wenn im nationalen Recht etwas anderes steht, zweitens, wenn sich der Betroffene für einverstanden erklärt, automatisiert bewertet zu werden. „Das ist vor allem bei vulnerablen Gruppen nicht unwahrscheinlich“, sagt der Jurist. Drittens ist das Verbot ausgesetzt, „wenn die Entscheidung für den Abschluss oder die Erfüllung eines Vertrags zwischen der betroffenen Person und dem Verantwortlichen erforderlich ist“, wie es in der Verordnung heißt.

Außerdem sind durch jenen Artikel 22 nur die finalen Entscheidungen abgedeckt, und nicht das Vorbereiten solcher Entscheidungen, erklärt er. Wenn ein System im Handyshop aufgrund von Gruppenzugehörigkeiten wie dem Wohnort, der Hautfarbe und des Alters die Wahrscheinlichkeit berechnet, ob ein potenzieller Kunde seine Monatsrechnung immer pünktlich bezahlen wird, und das Ergebnis in den Ampelfarben Grün, Gelb und Rot ausspuckt, woraufhin die Mitarbeiter nach diesem Vorschlag „entscheiden“, ist dies demnach legal. „Es ist wohl eher unwahrscheinlich, dass sie Handyverträge vergeben, wenn diese Ampel rot zeigt“, so Forgó: „Die Differenzierung zwischen Entscheidungsvorbereitung und Entscheidungstreffen ist daher eher artifiziell.“ Jener Artikel 22 der DSGVO würde demnach „nicht wirklich etwas am Thema ändern“.

Problemkind Artificial Intelligence Act der EU

Auch von „der zweiten Baustelle, die wir derzeit haben“, dem sogenannten Artificial Intelligence Act der Europäischen Union (EU) erwartet sich der Experte nicht allzu viel. Er liegt zur Zeit als „Proposal“, also Gesetzesvorschlag vor. „Das ist ein irrsinnig langes Textdokument, aber es ist noch nichts davon definitiv beschlossen“, sagt Forgó: „Wir sind also noch weit davon entfernt, dass man davon reden könnte, wann man weiß, was am Ende rauskommt.“ Fix ist quasi nur, dass es „wirklich elend lange dauern kann“, und dass niemand abschätzen kann, wie sich der EU-Rat und das EU-Parlament schließlich positionieren werden. Währenddessen würde man schon heute „mit jedem Tag ununterbrochen aufgrund von künstlicher Intelligenz potenziell diskriminiert werden, und zwar sowohl im privaten als auch im öffentlichen Sektor“, erklärt er. An den Grenzen, in der Strafverfolgung und in der öffentlichen Verwaltung müsste man zumindest vermuten, dass Software zur Anwendung kommt, die Entscheidungen über Menschen aufgrund von nicht-individuellen Faktoren, also Gruppenzugehörigkeiten, vorbereitet werden, die ihre Erwerbs- und Fortkommenschancen betreffen. „Leider weiß man nur relativ wenig darüber“, beklagt Forgó. Es sei auch nicht ohne weiteres möglich in Erfahrung zu bringen, wo solche Systeme eingesetzt werden oder gar, wie sie genau funktionieren.

Forgó bezweifelt außerdem, dass der AI-Act am Ende des Tages (oder Jahres, oder Jahrzehnts) tatsächlich ein effektives Mittel gegen die digitale Diskriminierung wird: „Momentan steht da irrsinnig viel drinnen über Risiken von AI-Systemen, Berichts- und Selbstevaluierungspflichten sowie neue Behörden, aber nicht wahnsinnig viel, ob jemand diskriminiert wird oder nicht, und wie man dies verhindert.“

Das Problem mit den Plattformen

„Man versucht in Europa auch sehr viel an gesetzlichen Texten zu produzieren, mit denen man die Aktivitäten von Plattformen steuern kann“, erklärt Forgó. Zum Beispiel die beiden kürzlich verabschiedeten Gesetze Digital Services Act und Digital Markets Act. „Sie kommen aber um Jahre zu spät, und es ist auch fraglich, ob sie die erwünschten Erfolge erzielen werden oder nicht“, meint er. Heutzutage würden größtenteils algorithmische Plattformen steuern, welche Informationen Menschen aus dem Internet beziehen, also wie sie die digitale Welt wahrnehmen. „Diese Plattformen entscheiden nach irgendwelchen Kriterien, die wir nicht kennen, welche inhaltlichen Elemente sie jemandem zur Verfügung stellen oder nicht.“

Derzeit gibt es zwar einen Trend, dass Benutzer sich von der Nachrichtendienstplattform Twitter verzwitschern und sich bei einem klassischen, dezentralen, nicht Plattform-basierten Dienst (Mastodon) registrieren, doch es ist fraglich, ob sich dieses System durchsetzt. Dass es nicht-diskriminierend und nicht-monopolistisch funktioniert, ist meistens wohl nicht der Grund für den Wechsel. „Es hat jedenfalls nichts mit der rechtlichen Regulierung von Plattformen zu tun, sondern mit anderen Dingen“, erklärt Forgó: „Nämlich mit einem Milliardär, der sich ein Hobby gekauft hat, und damit an manchen Stellen nicht so richtig umgehen zu können scheint, sowie der Befindlichkeiten von Menschen.“

Das Problem mit den Umleitungen

„So alt wie das Internet“ ist auch das Problem, dass lokale Gesetze international umgangen werden. „Schon in den frühen 1990er-Jahren kursierten Sprüche wie: Das Internet interpretiert Inhaltsmoderierung als Störung und routet rundherum“, so Forgó: „Das heißt, wenn ein Jurist sich wichtig macht, dann wird die Technologie dies einfach umgehen.“ Durch die oben beschriebene Plattformwelt und die Tatsache, dass keine der wichtigen Plattformen in Europa beheimatet ist, habe sich die Problematik tendenziell verschärft. Die Plattformserver werden in Amerika betrieben und zunehmend in China, wie etwa das Videoportal TikTok, „und es ist nicht so, dass es einem chinesischen Unternehmen automatisch so wahnsinnig auf unsere Grundrechte ankommen muss, oder einem amerikanischen Unternehmen auf unsere Datenschutzrechte“, meint der Jurist.

Bildung und Kompetenz nötig

„Wir können uns gar nicht vorstellen, wie schnell sich diese Technologien in anderen Bereichen der Welt entwickeln, und wie wahnsinnig viel da geforscht, bezahlt und investiert wird, und wie weit zurück wir in Europa und Österreich sind“, sagt Forgó. Mit jedem Tag Verspätung könnte man umso wahrscheinlicher „alle Gesetze, die man noch irgendwann erfinden wird, schön an die Wand nageln“, denn es würde immer unwahrscheinlicher, dass sie dann Einfluss auf die globalen Entwicklungen ausüben. „Diese finden nämlich jetzt statt, und nicht in 10 oder 15 Jahren, wenn unser Gesetz einmal in voller Blüte dasteht“, erklärt er. Forgó appelliert: „Wir brauchen Bildung, Bildung, Bildung, Bildung und wir brauchen Kompetenz, Kompetenz, Kompetenz in diesem Bereich, und zwar im eigenen Land. Also in Österreich.“

Popularitäts-Verzerrungseffekt

„Durch Systeme mit Maschinellem Lernen werden Minderheiten generell im Vergleich zum Mainstream eher benachteiligt“, erklärt Dominik Kowald vom Know-Center (Research Center for Data-Driven Business & Big Data Analytics) und dem Institute of Interactive Systems and Data Science der Technischen Universität (TU) in Graz. Diese Systeme lernen anhand von möglichst großen Datenbanken, die Welt zu „verstehen“. „Populäre Sachen sind naturgemäß öfter in den Daten vorhanden und dies wird von ihnen gelernt“, sagt er. Diesen Effekt nenne man Popularitäts-Verzerrungseffekt (Popularity Bias). „Was ohnehin schon populär ist wird dadurch noch populärer, und die anderen Sachen haben ein Problem, denn sie werden von den Algorithmen niedriger gereiht“, so der Forscher. Dies wäre etwa bei Musikempfehlungen zu beobachten, wo Kowald mit Kollegen das Phänomen genauestens untersucht hat. Benutzergruppen, die Mainstream hören, bekommen probate Musikempfehlungen, wer aber einen „erlesenen“ Geschmack hat, wird von den Algorithmen schlechter verstanden und bekommt demnach weniger probate Hör-Vorschläge. „Das benachteiligt Underground-Musiker, die schwerer zu finden und seltener gespielt werden (und demnach weniger Tantiemen erhalten), sowie die Benutzer, die solche Sachen mögen“, sagt Kowald: „Wir sehen uns deshalb jetzt mögliche Lösungen an, um dies fairer zu gestalten.“ Für seine Arbeit zu Popularity Bias bekam er gemeinsam mit Emanuel Lacić kürzlich den Diversity Award der TU Graz verliehen.

Benachteiligung rein, Benachteiligung raus

Verzerrungseffekte aufgrund unausgewogener Daten gibt es aber zum Beispiel auch bei Jobempfehlungen. „Dort hat es noch viel heftigere Auswirkungen, wenn Frauen etwa Jobs vorgeschlagen bekommen, die schlechter bezahlt sind, weil dies in den historischen Daten so zu finden ist“, erklärt Kowald. Beim als diskriminierend bekannt gewordenen Algorithmus des Arbeitsmarktservices (AMS) setzte es zum Beispiel Punkteabzüge für Frauen, Mütter und über 50-jährige Menschen. Das hat wohl niemand in dieses System hinein programmiert, sondern die Diskriminierung übertrug sich quasi automatisch aus den „wirkliche-Welt-Daten“ in das digitale Arbeitsmarkt-Universum. Annahmen über die Welt, wie sie tatsächlich ist, wirkten sich auf das Verhalten dieses Algorithmus aus, so Forgó: „Wenn man empirisch weiß, dass etwa Frauen ab einem gewissen Alter eine schlechtere Chance auf dem Arbeitsmarkt als Männer haben, weil sie eben gebärfähig sind und typischerweise die Erziehungsarbeit leisten, und deswegen weniger gerne eingestellt werden, dann ist das ja eine wahre Tatsache, aber dies führt in solch einem Algorithmus zu einer Diskriminierung von Frauen.“ Nachsatz: Mit den klassischen Werkzeugen des Datenschutzrechtes sei dies nicht in den Griff zu bekommen.

„Die Algorithmen selbst entwickeln keine Biase, sondern sie übernehmen sie ‚nur‘ aus der wirklichen Welt, und verstärken sie sogar“, erklärt Kowald: „Das sollen sie freilich nicht“. Einerseits könne man genauer überlegen, welche Daten man in das System einspeist, man nennt dies „Preprocessing“. Zum Beispiel, indem man Abstand nimmt, Merkmale wie Geschlecht, Hautfarbe und Alter einzuspeisen. „Das funktioniert aber nicht immer, weil es eben oft solche versteckten Korrelationen aus der wirklichen Welt in den Daten gibt“, berichtet er. Zweitens ist es möglich, den Algorithmus aufgrund solcher Probleme anzupassen (In-processing). Dann habe man aber meist das Problem, dass die Genauigkeit des Systems leidet (Genauigkeit-Fairness Tradeoff). „Wir, und viele andere Forscher arbeiten derzeit deshalb daran, diese Tradeoffs zu verringern“, sagt Kowald. Außerdem könne man schließlich die Ergebnisse anpassen, zum Beispiel, indem man auf die Liste der zehn bestgeeigneten Personen für einen Job fünf Frauen und fünf Männer rankt (Post-processing). „Dann hat man aber das Problem, dass man einen Mann aufgrund seines Geschlechts herunter ranken muss“, so der Forscher: „Das heißt, man hat einen Tradeoff zwischen Gruppenfairness gegenüber individueller Fairness“. Es hat demnach jeder der drei Eingriffe Vor- und Nachteile.

Testen und Zertifizieren

Verzerrungseffekte in der Maschine lassen sich teilweise nur schwer nachvollziehen, berichtet Peter Biegelbauer vom AI Ethics Lab des Austrian Institute of Technology (AIT): „Beim Deep Learning von Maschinen lernt der Algorithmus anhand der Eingabedaten, und wie genau die Verbindung zwischen Input und Output zustande kommt, ist nicht mehr für den Menschen einfach nachvollziehbar, wie dies bei normalen Computerprogrammen mit regelbasierten Mechanismen der Fall ist.“ Deswegen könne in dieser „Blackbox“ alles Mögliche passieren. Oft stellt sich erst beim Auftreten eines Problems heraus, dass zum Beispiel ein Repräsentationsbias in den beim Maschinenlernen meist sehr großen  Datenmengen enthalten war.

Vor allem kleine Startups hätten oft Schwierigkeiten die zeitlichen oder personellen Ressourcen aufzubringen, um ihren Ausgangsdaten und Algorithmen ausreichend auf den Zahn zu fühlen, bevor sie ihre KI-Systeme damit füttern und sie schließlich auf den Markt bringen, erklärt Biegelbauer: „In der Geschäftswelt passiert es deshalb immer wieder, dass man einen nicht zertifizierten Algorithmus aus dem Internet und schlecht beschriebene Daten von ebendort als Basis für die eigene Arbeit nimmt, das Ganze auf die gewünschte Lösung hin trimmt, und dann landet die entsprechende App auf unseren Handys.“ Verbessern könnte man die Situation etwa durch Zertifizierungen von Datensätzen und Anwendungen. Solche Dienstleistungen führt etwa die Internationale Organisation für Normung (ISO) oder das Institute of Electrical and Electronics Engineers (IEEE) durch. Zweitens wäre es wünschenswert, wenn man die Anwendungen ausreichend vielen Testläufen und gezielten Analysen unterzieht, wobei man jeweils den Input und Output sowie durchgeführte Veränderungen genau dokumentiert. „Man kann auf diese Art möglichst viel Transparenz herstellen“, meint der Sozialforscher: „Die Blackbox durch Maschinenlernen bleibt zwar notgedrungenermaßen undurchsichtig, aber man kann genau darstellen, wie der Algorithmus auf Veränderungen reagiert und wie die Tests abgelaufen sind.“ Das Problem sei, dass all diese Dinge Geld kosten. „Wir müssen Wege finden, dass dies nicht ein Luxusproblem für große Firmen bleibt, sondern jeder so handeln kann“, sagt er.

McJob Datenmarkierer

Ebenfalls Geld kostet es, die Daten überhaupt für das System nutzbar zu machen. So müssen zum Beispiel für Bilderkennungsanwendungen bei jedem eingespeisten Foto die darauf befindlichen Objekte markiert (getagged) werden. Das heißt, in irgendeinem Land sitzen Menschen an Computern und weisen quasi in Fließbandarbeit zu, was auf den Bildern überhaupt zu sehen ist. Die armen Computerarbeiter, die also jeweils ein Hakerl klicken müssen, zum Beispiel für: Mensch, Katze, Baum, Löwe, Haus, Nadelbaum, Blume, Auto, Brücke, Ampel, etc., bekommen dafür minimale Geldbeträge, nämlich teils Cent-Bruchteile pro Klick, berichtet Biegelbauer. Das nötigt diese Menschen, die für Plattformen wie Amazon Mechanical Turk arbeiten, viele Klicks in kürzester Zeit zu tätigen, um mit diesen McJobs ökonomisch zu überleben.

Freilich nimmt zudem kaum jemand Geld in die Hand, um diese Personen einzuschulen und aufzuklären, für welche Anwendung die Markierungen wichtig sind, und worauf es beim Markieren demnach ankommt. Unter all diesen Missständen leidet freilich die Qualität der eingespeisten Daten, und nach dem Motto „Mist rein, Mist raus“ (garbage in, garbage out) jene der Ergebnisse. Je gefinkelter und sozial sensibler die Anwendungen werden, umso schwerer wiegen diese Probleme: Wenn einem Black Metal Fan ein lieblicher Choral vorgeschlagen wird, wird er diesen wohl nach überstandenem Lachanfall wegklicken, wenn dunkelhäutige Menschen aber als „Gorillas“ zugeordnet werden, wie dies Internetgiganten Google mit einer Foto-App vor einigen Jahren passierte, sorgt dies zurecht für weltweite Empörung.

Simple Aufmerksamkeit hilft gegen das Problem

Vielleicht ist die einfachste Lösung auch die Beste: Simple Aufmerksamkeit (Awareness) für das Problem zu schaffen, meint Biegelbauer. Wenn alle Beteiligten von den möglichen Problemen wissen, diese verstehen und die (freilich angemessen bezahlte) Zeit haben, nach ihnen Ausschau zu halten, könnten die Fallstricke entdeckt und am ehesten umgangen werden. „Diese Awareness kann durch organisatorische Lösungen wie Ethik Labs gefördert werden, wo Softwareentwickler:innen mit Sozialwissenschaftler:innen, NGOs und Anwender:innen derartige Probleme diskutieren“, erklärt er.