Immer öfter werden Algorithmen oder KI-Tools bei der Verteilung von Sozialleistungen eingesetzt - mit teils problematischen Auswirkungen: "Denn es gibt nicht die Technik auf der einen und die Gesellschaft auf der anderen Seite. Datenbasierte und automatisierte Entscheidungen im Sozialstaat verändern, wie politische Akteure Sozialpolitik machen, wie Institutionen sie umsetzen und wie sie bei den Bürgern ankommt", sagte die Technikforscherin Doris Allhutter zur APA.

Das Arbeitsmarkt-Assistenz-System (AMAS), das Anfang 2021 flächendeckend in Österreich hätte eingeführt werden sollen, sei dafür ein gutes Beispiel, so die Expertin, die das Thema aktuell in einer internationalen Studie beleuchtet: Der Algorithmus des Arbeitsmarktservice (AMS) habe durch die Verwendung der Daten von als arbeitslos gemeldeten Personen ausgerechnet, wie hoch die Chance sei, dass jene in festgelegten Zeiträumen wieder einen Job finden. Die in den Algorithmus einfließenden Variablen sind dabei von Geschlecht, Alter, Staatengruppe, gesundheitlichen Beeinträchtigungen und Ähnlichem bestimmt gewesen. "Das bedeutet, dass in die Vorstellung der Integrationschance am Arbeitsmarkt schon das Wissen über Ungleichheit - also ein gewisses Diskriminierungsrisiko - eingeschrieben war", so Allhutter, die am Institut für Technikfolgen-Abschätzung der Österreichischen Akademie der Wissenschaften (ÖAW) arbeitet.

Diskriminierungsrisiko wird reproduziert

Dieses Diskriminierungsrisiko sei dadurch also reproduziert und mit einer politischen Entscheidung verbunden worden, weil Förderung und Unterstützung vor allem an mittlere Integrationschancen geknüpft waren. Zwar gebe aus auch gute Gründe, Personen nicht zu Fortbildungsmaßnahmen zu verpflichten, etwa wenn jemand psychisch nicht belastbar ist. "Aber die Krux daran ist, dass diese Entscheidungen nicht aus dem Bedarf der Einzelpersonen in Gesprächen eruiert, sondern einfach aus den Daten abgeleitet werden sollten", sagte Allhutter. Das sei umso problematischer, da das AMS laut der Forscherin grundsätzlich eine Tradition in der Bekämpfung von Ungleichheiten habe; durch den Algorithmus seien diese Bemühungen wieder "unsichtbar" gemacht worden.

Neben Arbeitsmarktservices gebe es in Österreich und Europa eine weite Bandbreite von Institutionen und Organisationen, etwa im Gesundheitsbereich, bei Sozialversicherungen, Schulverwaltungen oder Städten, die solche Technologien bereits implementieren. "Das reicht von einfachen Systemen, die überprüfen, ob alle Daten in Anträgen vorhanden sind, über Chatbots und den Aufbau von Dateninfrastrukturen bis zum Einsatz von Künstlicher Intelligenz", erklärte Allhutter. In einer international vergleichenden Studie untersucht sie mit ihrem Team aktuell die unterschiedlichen Systeme in acht europäischen Ländern anhand von Interviews mit Entwicklerinnen und Entwicklern, Entscheidungstragenden sowie Sachbearbeiterinnen und Sachbearbeitern.

Der Algorithmus SyRI (System Risk Indication) der niederländischen Regierung biete ein Beispiel für unerwünschte Folgen des Einsatzes solcher Systeme: Gespeist mit Bevölkerungsdaten wurde er unter anderem eingesetzt, um aufzudecken, welche Familien unrechtmäßig Beihilfe bezogen. SyRI überprüfte vermehrt Familien mit niedrigem sozialen Status und Migrationshintergrund, die dann oft ungerechtfertigt und ohne Angabe von Gründen die Beihilfe zurückzahlen mussten. Für die Forscherin lag der Fehler dabei in den Grundannahmen: "Setzt man bei der Vorstellung an, dass Bürgerinnen und Bürger aus bestimmten Wohnbezirken gezielt Wohlfahrtsstaatsbetrug betreiben? Oder überprüft man die Anbieter von Gesundheitsleistungen und die Anstellungsverhältnisse von Unternehmen? ", fragte Allhutter. Zudem finde man bei jenen Bevölkerungsgruppen, die vermehrt durchforstet werden, eine größere Zahl an Fällen - auch weil dann die Anzahl der falsch Beschuldigten in dieser Gruppe größer ist.

Grundannahmen ändern sich

In vielen Bereichen würde bei dem Versuch, Vorhersagen zu treffen, eine gewisse Risikologik vonseiten der Verwaltung entstehen: "Da entwickelt sich eine Art versicherungsmathematischer Blick auf den jeweiligen Bereich des Sozialstaates", sagte Allhutter. Wenn das Ziel einer Organisation oder Institution hingegen die Unterstützung von Menschen ist, müsse sie jene Menschen beteiligen und direkt fragen, was sie brauchen. Bei solchen Mitsprachemöglichkeiten sieht die Forscherin ein Defizit.

Die Digitalisierung biete aber auch positive Innovationen, etwa wenn Städte oder Gemeinden anhand von gesammelten Daten über Populationsdichte, Klima- und Umweltfaktoren sogenannte digitale Zwillinge erstellen. "Auf der einen Seite birgt das natürlich Überwachungspotenzial, auf der anderen Seite aber auch die große Chance, durch ein digitales Modell einen Blick auf die Stadt zu bekommen, der vorher einfach nicht möglich war", so Allhutter. Diese Modelle könnten dann zusätzlich als Kommunikationsmittel dienen, da sie Ungleichheiten sozialer Natur, wie etwa schlechtere Luftqualität in gewissen Stadtteilen, sowie Entscheidungen und ihre Auswirkungen verständlich visualisieren.

Bis 2025 sollen im Rahmen des internationalen Forschungsprojektes, das u. a. vom österreichischen Wissenschaftsfonds (FWF) gefördert wird, politische Handlungsempfehlungen für die einzelnen Länder verfasst werden. "Denn viele Entscheidungen, die durch diese Algorithmen nur technisch getroffen werden, sind eigentlich politische Entscheidungen. Die oft weitreichenden Auswirkungen müssen in Zukunft transparent kommuniziert werden", resümierte die Forscherin.

Service: Forschungsprojekt und Publikationen: https://www.oeaw.ac.at/ita/projekte/auto-welf