Im Fachgebiet Natural Language Processing (NLP, deutsch: Sprachverarbeitung oder Computerlinguistik) geht es um die computergestützte Verarbeitung, das Verstehen und die Erzeugung menschlicher Sprache in geschriebener oder gesprochener Form. NLP ist ein Teilbereich der Künstlichen Intelligenz (KI) und wird u.a. zur Umsetzung der Kommunikation mit KI-Systemen benötigt. An dieser Schnittstelle zwischen NLP und KI entstehen sogenannte Dialogsysteme oder Chatbots, also Computerprogramme, die gesprochene, textbasierte oder multimodale Unterhaltungen zwischen Mensch und Maschine unterstützen. NLP erschließt die menschliche Kommunikation für die automatisierte Bearbeitung und bringt damit KI in viele Lebensbereiche. Auch solche, die für politische und soziale Wertsysteme hohe Relevanz haben. Es stellt somit eine Technologie dar, die sich mehr denn je im Spannungsfeld zwischen Chancen und Gefahren für die Gesellschaft entwickelt.

Chatbots

Seien es Messenger-Dienste, Mobilgeräte und Smartphones oder intelligente Lautsprecher, Fahrzeuge oder Webanwendungen – überall hier kommen Chatbots zum Einsatz. Sie können Antworten auf Anfragen von Benutzer:innen auf unterschiedliche Art und Weisen erzeugen. Einerseits können klassische, regelbasierte Chatbots verwendet werden. Sie reagieren mit vordefinierten Textbausteinen auf bestimmte Schlüsselwörter. Suchbasierte Chatbots hingegen klassifizieren die Anfragen und sortieren die möglichen Antworten nach deren Wahrscheinlichkeit. Durch die Fortschritte auf dem Gebiet der KI sind nun auch sogenannte textgenerierende Chatbots verfügbar. Sie lernen aus großen Datensätzen vorhandener Dialoge und können auch unvorhergesehene Fragen beantworten. Sie tun dies allerdings auch in einer selbst für die Programmierer:innen schwer zu beeinflussenden Art und Weise.

Textgenerierenden Chatbots kommen vor allem für komplexere bzw. themenoffene oder unspezifische Gespräche zum Einsatz. Der Grundgedanke dabei ist einfach: Ein spezielles Neuronales Netz wird auf eine sehr große Sammlung von Beispieldialogen trainiert. So lernt dieses Modell unterschiedliche Antwortmöglichkeiten und Gesprächsverläufe kennen und kann sie entsprechend wiedergeben. Es gibt im NLP unterschiedliche Architekturen von Neuronalen Netzen, die sich für das Lernen aus derart großen Datenmengen eignen, wie beispielsweise das Modell BERT, entwickelt von Google, oder GPT von OpenAI. Diese Arten von Netzen werden unter dem Überbegriff „Large Language Models“ (LLM, deutsch: große Sprachmodelle) zusammengefasst.

Large Language Models

Allen LLMs ist gemein, dass sie auf sehr umfangreiche Datenmengen vortrainiert werden. Nach diesem Vortrainieren können die Sprachmodelle für gezielte Aufgabenstellungen abgestimmt und auf aufgabenspezifische Datensätze feinjustiert werden. Für Chatbots zählen dazu u.a. Aufgaben wie Fragenbeantwortung oder Gesprächsführung. Um diese großen Datenmengen zu verarbeiten, bestehen LLMs aus einer Unzahl an Parametern, die das Gelernte speichern oder abbilden können. Das ursprüngliche GPT-Modell bestand beispielsweise aus 110 Millionen Parametern, das Modell BERT aus ca. 354 Millionen Parametern. Das aktuelle Modell GPT-3 besteht aus ca. 175 Milliarden Parametern und wurde auf ca. 45 Terabyte Text trainiert.

So überzeugend die Ergebnisse, die mit LLMs erzielt werden können, grundsätzlich sind, der enorme Ressourcenverbrauch dieser Sprachmodelle ist in mehrerer Hinsicht problematisch:

– Die schiere Größe der Modelle erfordert entsprechend große Rechner, auf denen sie gespeichert und berechnet werden können. Einfache PCs oder Laptops, selbst klassische Rechenzentren reichen dafür nicht immer aus. GPT-3 wird überhaupt nicht mehr für Entwickler:innen für den lokalen Gebrauch zur Verfügung gestellt, sondern wird als Cloud-Dienst angeboten und kann nur über eine Schnittstelle aufgerufen werden. Damit begibt man sich durch die Nutzung in eine Abhängigkeit gegenüber dem Anbieter und verliert die Kontrolle über die prozessierten Daten. Die regionale Wertschöpfung verringert sich, wenn Unternehmen einen Teil ihrer Einnahmen für die Finanzierung solcher – meist außereuropäischer – Dienstleistungen verwenden müssen, um dafür menschliche Mitarbeiter:innen einzusparen.

– Das grundsätzliche Sprachverständnis der Modelle wird aus Texten durch einen mathematischen Algorithmus gelernt. Die überwiegende Mehrheit der Trainingstexte wird zufällig aus Webseiten extrahiert. Die tatsächlich verwendeten Inhalte unterliegen wegen des völlig unbeherrschbaren Aufwandes keiner Qualitäts- oder Inhaltskontrolle. Dadurch gelangen auch Texte, die Hate Speech (deutsch: Hassrede), sexuell explizite Inhalte oder bewusste Falschdarstellungen enthalten, in den Trainingsdatensatz und somit in den Wissensschatz des Modells. Ein Chatbot übernimmt aber auch Stereotype und genderspezifischen Bias aus den Quelltexten. Es kann nicht erwartet werden, dass das Modell weniger voreingenommen ist als der Durchschnitt derjenigen, die Texte im Internet veröffentlichen.

– Zudem werden die meisten LLMs aufgrund des hohen Aufwandes nicht kontinuierlich weitertrainiert. Die zugrunde liegenden Informationen stammen damit aus zunehmend veralteten Texten. BERT wurde z.B. im Jahr 2019 verfügbar gemacht. Dreht sich eine Chatbot-Unterhaltung um den amerikanischen Präsidenten, wäre für das Sprachmodell somit Donald Trump gemeint. Es gibt keinen Mechanismus, um Informationen aus einem Sprachmodell zu löschen oder direkt zu überschreiben.

– LLMs gibt es mittlerweile für sehr viele Sprachen, entweder als eigenes Sprachmodell oder als sogenannte Multilinguale Modelle. Trotzdem bleiben unterrepräsentierte Sprachen oft unberücksichtigt – auch, weil typischerweise zu wenige Trainingsdaten vorhanden sind. Im gesprochenen Kontext betrifft das auch Dialekte und dialektale Färbungen von sehr gängigen Sprachen.

Maschinenethik und Verantwortlichkeit

Somit stellt sich nun die Frage, ob autonom agierende KI-Systeme moralisches Verhalten zeigen und an diesem auch gemessen werden können. Die Maschinenethik ist ein spannendes Forschungsgebiet an der Schnittstelle von Informatik und Philosophie. Da die erwähnten Chatbots und Sprachmodelle zunehmend in der Lage sind, intelligent und autonom zu agieren, werden sie auch immer öfter mit moralisch herausfordernden Situationen umgehen müssen. Sie kreieren zum Beispiel in sozialen Netzwerken Texte, die Menschen veranlassen können, bei Wahlen ihre Stimme einer bestimmten politischen Partei zu geben. Es stellen sich sofort viele Fragen: sind die Maschinen selbst hier in der Verantwortung, sind es die Entwickler:innen oder Auftraggeber:innen, oder muss hier ein Regulativ in Form eines Gesetzes oder einer Richtlinie den Einsatz von KI geeignet einschränken? Können Maschinen moralisch handeln? Und wenn ja: wollen wir das?

Auch in klassischen technischen Systemen ist Verantwortlichkeit nicht immer einfach zu definieren: Versagt etwa eine elektronische Zutrittskontrolle zu einem chemischen Gefahrenbereich, könnte die Verantwortung dafür ebenfalls an unterschiedlichen Stellen gesucht werden. Bei KI-Systemen ist aber das Verhaltensrepertoire viel größer und prinzipiell unvorhersehbarer: womöglich würde die Maschine einer/m Chemiker:in aufgrund des Fachwissens Zutritt gewähren und dabei etwaige böse Absichten der Person nicht berücksichtigen. Durch die Komplexität der Entscheidungsfindung einer KI kann es fast unmöglich werden, die Frage der Verantwortung für eine moralisch verheerende Entscheidung klar zuzuweisen. Diese Lücke könnte darin resultieren, dass wir letztlich die von Maschinen geschaffene Praxis einfach akzeptieren und zu wenig hinterfragen. Sie könnte aber auch dazu führen, dass Richtlinien für die Schaffung von künstlicher Moral – von KI-Systemen mit dem Anspruch auf moralisches Handeln – diskutiert und entwickelt werden.

Data Democracy

Eine weitere Herausforderung ist die bereits diskutierte Frage nach der Verfügbarkeit der Technologie. Neben den benötigten Rechenzentren ist hier der Datenhunger von KI-Systemen eine sehr restriktive Voraussetzung. Gehören Daten denjenigen, über die sie Informationen enthalten, oder denjenigen, die sie erhoben haben? Wenn ein Videostreamingdienst persönliche Nutzungsmuster erhebt, um individualisierte Vorschläge aus dem Filmangebot zu machen, muss er dann diese Daten auch anderen Portalen zur Verfügung stellen, wenn das die/der Kund:in möchte? Wir laufen in Europa Gefahr, die regionale Wertschöpfung an große, außereuropäische Dienste zu verlieren, wenn wir die Nutzung der über uns erhobenen Daten nicht regulieren. Umgekehrt werden wir technologisch und wirtschaftlich den Anschluss verlieren, wenn große europäische Unternehmen ihren Datenschatz nicht mit innovationsfähigen Startups teilen wollen. Der Markt allein ist für diese Fragen ein unzureichendes Regulativ. Vielmehr müssen Gesellschaft und Politik hier aktiv, diskursiv und vor allem laufend soziale und politische Werte und wirtschaftliche Auswirkungen in ein Gleichgewicht bringen.

Quo vadis KI?

Die neuen Technologien der KI fordern uns als Gesellschaft dazu auf, Stellung zu beziehen. Es reicht nicht, von einer App zu fordern, dass sie fair agieren soll. Es reicht nicht, computergenerierte Texte wegen des Auftretens von Stereotypen zu kritisieren. Es geht nicht einfach und es geht nicht abschließend. Die Entwicklung von ethischen Richtlinien zum Einsatz von KI kann zusammen mit einer sich langsam entwickelnden Vorstellung von der Maschinenethik in diesem Bereich und mit einer Bereitschaft zum Teilen der notwendigen Rechen- und Datenressourcen dazu führen, dass vermehrt Systeme entstehen, die die Grundwerte einer Gesellschaft schützen und Aspekte wie Gerechtigkeit, soziale Ausgewogenheit, Schutz von Minderheiten und Nachhaltigkeit aktiv unterstützen. Dazu muss Technologie abseits der ultragroßen Sprachmodelle in Europa entwickelt und zum Einsatz gebracht werden. Diese Technologie muss sich in der Kommunikation als künstliche Intelligenz zu erkennen geben und transparent gestaltet sein. Sie muss auf Daten- und Rechnerressourcen basieren, welche einer Mehrzahl potenzieller Anwender:innen zugängig ist. Am Applied Data Science Lab des Departments Information Technologies and Digitalisation der FH Salzburg werden Technologien und Anwendungsszenarien von Chatbots mit diesem Hintergrund interdisziplinär erforscht und gelehrt.