Wer viel im Internet recherchiert oder im Medienbereich arbeitet, kennt das Problem: Immer öfter stolpert man über fragwürdige Inhalte und potenzielle Fake News, die im äußersten Fall sogar Demokratien gefährden können. An einem leicht bedienbaren, hochtechnologischen Werkzeug, das Anwender beim Erkennen von Falschinformationen unterstützt, forscht ein Konsortium rund um das AIT Austrian Institute of Technology. Zur Projekthalbzeit hat APA-Science den Status Quo und erste Erkenntnisse abgefragt.

Entwickelt wird im Projekt "defalsif-AI" für den Einsatz bei Medienunternehmen und Institutionen der öffentlichen Verwaltung ein Tool, das mit Hilfe von Künstlicher Intelligenz Anhaltspunkte für Manipulationen herausfiltert, sei es bei Text, Bild, Video oder Audio. Anhand dieser Informationen soll ein Internet-User eine fundierte Entscheidung treffen können, ob ein Inhalt als Fake oder Fact einzustufen ist. Angesiedelt ist das Projekt im Center for Digital Safety and Security am AIT, wo es einen Schwerpunkt rund um Sicherheitsforschung gibt und das sich unter anderem auch mit Fake Shops beschäftigt - täuschend echt wirkenden Online-Händlern, die gegen Vorkassa vermeintlich Waren verschicken, aber nur Käufer abzocken.

Letzten Endes sollte ein Werkzeug entstehen, das so leicht verständlich und niederschwellig zugänglich gestaltet ist wie möglich. Denkbar sei das über eine Website, auf der man verdächtige Videos oder Bilder hochladen und analysieren lassen könne. "Im Endeffekt schwebt uns sogar vor, dass man nur die Webadresse eingibt und die gesamte Website auf Anhaltspunkte für manipulierte Inhalte prüfen lässt", erläutert Martin Boyer, Projektleiter und Senior Research Engineer am AIT, das ambitionierte Vorhaben.

Erklärtes Ziel des österreichischen Forschungsprojekts im Rahmen des vom BMLRT geförderten Sicherheitsforschungsprogramms KIRAS war es, bereits nach einem Jahr einen ersten Prototypen ("Proof of Concept") verfügbar zu haben, was sich als gute Entscheidung erwiesen habe. "Es hat natürlich auch zu Aha-Momenten für uns Forscher geführt. Beispielsweise die Erkenntnis, dass es eine Art 'Bedienungsanleitung' zum Tool geben muss, die niederschwellig erklärt, was ein Algorithmus leisten kann und was nicht."

Mensch trainiert Maschine

Während das AIT die Künstliche Intelligenz trainiert, spürt der Projektpartner enliteAI, dessen Spezialität generative Ansätze und die dabei verwendeten maschinellen Lernverfahren sind, die gängigsten Fälschungsmethoden auf und erstellt repräsentative Beispiele und Datensätze für gefälschte Inhalte, an denen sich das AIT dann abarbeitet. "Dieses Katz-und-Maus-Spiel ist eine ewige Grundherausforderung: Fliegt ein Fälscher auf, verbessert er seine Methode. Folglich müssen auch wir nachrüsten und so weiter", erklärt Boyer. Deshalb genüge es nicht, die besten Analyse- und Detektionsmethoden zu entwickeln, vielmehr müsse man "zukunftsfit" bleiben.

Wenn es um Künstliche Intelligenz geht, sieht der Forscher noch viel Lernbedarf - auch in der Kommunikation. "KI spuckt nicht von selber Antworten aus. Sie funktioniert nicht immer, manchmal sogar nur für einen ganz schmalen Anwendungsbereich." Hinter KI steckten immer komplexe Prozesse. Um sie einsatzbereit zu machen, seien sehr viele Schritte notwendig: "Es beginnt bei der Zusammenstellung von repräsentativen Trainingsdaten. Dann folgt der eigentliche Schritt, das Trainieren der Künstlichen Intelligenz. Und schließlich benötigt auch das Betreiben der KI sehr viel Know-how", so Boyer weiter.

Ohne gut aufbereitete Daten geht gar nichts

Machine Learning braucht repräsentative Daten. Besonders essenziell ist das bei der Audio-Manipulation. Hier stellt die APA - Austria Presse Agentur, die neben dem ORF als weiteres Medienunternehmen am Projekt beteiligt ist, Audio-Daten für das Training der KI zur Verfügung. Sie soll lernen, künstlich erzeugte Stimmen von echten zu unterscheiden, was für die Verifizierung von Deep Fakes wichtig ist. Es brauche gute Datensätze, und zwar unter anderem in den Sprachen, die das Tool beherrschen solle. Neben Deutsch und Englisch ist auch die Analyse weiterer Sprachen ein Ziel, es gebe aber Analysemethoden, die letztlich sprachinvariant seien.

Mit wie vielen Daten muss eine KI gefüttert werden, bis sie einsatzbereit ist? "Da geht es um zig-Tausende, wobei die Qualität ebenso ausschlaggebend ist wie die Menge. Die Daten müssen repräsentativ und gut 'annotiert' sein", erklärt der Forscher. "Annotieren" bedeutet, der KI zu "zeigen", wonach sie suchen muss. "Gerade Audio annotieren ist sehr aufwendig: Man muss sich die Datei anhören, immer wieder zurückspulen, auffällige Stellen suchen und markieren", so Boyer. Manchmal könnten Annotations-Vorgänge maschinell unterstützt werden, doch meistens brauche es einen Menschen, der sich hinsetze und diese gewaltige Vorbereitungsarbeit leiste.

"Wenn ich mit einem KI-gestützten Werkzeug arbeite, muss ich verstehen, nach welchen Kriterien die Maschine entschieden hat, um das Ergebnis richtig einordnen zu können", so der AIT-Projektleiter, der sich eine Art "Handbuch" für User vorstellen kann. Sich komplett auf die Antworten der Maschine zu verlassen, sei im Fall Fake News keine Option. "Die Detektionsmethode, die zu 100 Prozent funktioniert, gibt es nicht. Es kann in beide Richtungen auch falsche Treffer geben." Deshalb könne die Entscheidung, ob ein Inhalt als manipuliert einzustufen sei oder nicht, letztlich nur der Mensch treffen. "Eine automatisierte Entscheidungsfindung - das wird es auf Jahre nicht geben, wenn nicht auf Jahrzehnte", ist Boyer überzeugt. Ziel könne nur sein, den Anwender bestmöglich bei seiner Entscheidung zu unterstützen.

Open Source hilft auch den Fälschern

Wie ausgereift und verhältnismäßig benutzerfreundlich Manipulationstools durch eine aktive Open Source Community geworden sind, hat Marcel Wasserer, enliteAI-Gründer überrascht. "Einfache 'Deep Fakes' können ohne jegliches Expertenwissen produziert werden." Noch seien die generierten Deep Fakes aber relativ einfach zu erkennen - "für täuschend echte Manipulationen ist weiterhin aufwändiger, manueller Feinschliff essenziell", ist er überzeugt.

Erstaunen gab es auf Seiten mancher Forscher auch darüber, welche Detektions-Tools bereits im Einsatz seien, erzählt Florian Schmidt, APA-Verification Officer. Er verweist etwa auf bestehende Werkzeuge zur Analyse von Twitter-Profilen. Damit lassen sich Interaktionen einer Person und sogar ihr Schlafrhythmus nachvollziehen. "Das spielt dann eine Rolle, wenn etwa jemand behauptet, von Thailand aus zu twittern, das aber mit dem erkennbaren mitteleuropäischen Schlafverhalten nicht zusammenpasst."

Für den ORF ist "defalsif-AI" von besonderer Bedeutung, um die Glaubwürdigkeit des öffentlich-rechtlichen Unternehmens in der Berichterstattung auch langfristig zu sichern. Als sehr wertvoll schätzt Redakteur Jakob Weichenberger die Begleitung des Entwicklungsprozesses im Projekt und den Austausch mit Kolleginnen und Kollegen aus Medien, der Wissenschaft und Praxis. "Über die letzten Jahre sind vor allem die Techniken zur Fälschung oder Manipulation von Bewegtbild-Inhalten immer ausgefeilter geworden. Angesichts der größer werdenden Materialmengen ist es für uns wichtig, Erfahrungen mit Werkzeugen zu sammeln, die uns bei der Überprüfung von zweifelhaftem Material eine wertvolle Unterstützung sein können", meint er.

Desinformation überrollt die Gesellschaft

Dass selbst Journalistinnen und Journalisten mehrheitlich der Meinung sind, dass man "der Menge, aber vor allem der Qualität" der manipulierten Medieninhalte nur schwer etwas entgegensetzen könne, hat die Donau Universität Krems zu denken gegeben, die das Projekt sozialwissenschaftlich begleitet. "Der Aufwand, um Falschmeldungen zu streuen und zu verunsichern, verblüfft selbst uns. Hier zeigt sich, dass die Gesellschaft von Desinformationen überrollt zu werden droht", so Walter Seböck, Leiter des Zentrums für Infrastrukturelle Sicherheit. Die Donau Universität Krems führt User-Befragungen und eine Risiko- und Gefahrenabschätzung durch und analysiert ethische Aspekte und gesellschaftspolitische Implikationen. "77 Prozent der Befragten waren der Meinung, dass die Auswirkungen von Fake News und Desinformation gefährlich oder sehr gefährlich für die Demokratie sind", so der Forscher.

Ebenfalls wissenschaftlich an der Schnittstelle von Technik, Recht und Gesellschaft begleitet wird das Projekt vom Research Institute (RI). Sie beschäftigen sich mit den erforderlichen Rechtsgrundlagen für die Einsatzbereiche des Tools bei den sogenannten Bedarfsträgern und sehen hier durchaus die größte Herausforderung, wie Senior Researcher Heidi Scheichenbauer erklärt:"Medienunternehmen und Bundesministerien streben je nach ihren Aufgabenbereichen unterschiedliche Einsatzzwecke an. Dementsprechend bestehen hier auch unterschiedliche Anforderungen an die dafür erforderlichen Rechtsgrundlagen." Die im Projekt durchgeführten sozial- und rechtswissenschaftliche Analysen werden auch herangezogen, um in den Redaktionen des ORF Handlungsleitfäden weiterzuentwickeln.

Thematik ohne Ablaufdatum

Auch nach Projektende werden die unterschiedlichen Partner am Thema dran bleiben. Boyer: "Der Komplex 'Desinformation' ist auch in anderen EU-weiten und internationalen Forschungsprogrammen präsent und bleibt uns - wie wir tagtäglich sehen - mit Sicherheit erhalten." Das RI möchte einen künftigen Forschungsschwerpunkt auf die Auswirkungen der geplanten KI-Regulierung auf europäischer Ebene legen. Die Donau Universität Krems plant Folgeprojekte zum Thema, zudem fließen im Projekt gewonnene Erkenntnisse direkt in bestehende und zukünftige Aus- und Weiterbildungsprogramme der Uni ein, wie etwa in das soeben akkreditierte PhD-Programm "Technology, Innovation and Cohesive Societies". enliteAI sieht für sich weitere sehr spannende Einsatzfelder, wie etwa Ansätze zur Generierung von Städtemodellen aus Befahrungsdaten, die dann in interaktiven Stadtplanungsprozessen genutzt werden können.