Die JOANNEUM RESEARCH leitet das Projekt TailoredMedia, bei dem es darum geht, mittels künstlicher Intelligenz archiviertes Filmmaterial inhaltlich zu analysieren und zu beschlagworten. Kürzlich konnten die neuesten Ergebnisse der EBU vorgestellt werden, die einen Zusammenschluss aller öffentlich-rechtlicher Sender Europas darstellt. Projektpartner sind der ORF, die österreichische Mediathek, die FH St. Pölten sowie Redlink.

Die Beschreibung und Beschlagwortung von archiviertem Video- und Audiomaterial zu digitalisieren, fand bis dato meist manuell statt. Das heißt, eine Person muss nach Sichtung entsprechende Daten eingeben. Schon länger gibt es KI-Lösungen, die Teile dieser Anforderungen erfüllen können. Nun wird es aber möglich sein, automatisch auch alle Dokumente - wie zum Beispiel Notizen - in die Analyse miteinzubeziehen. Auch wenn Inhalte und Zusatzinformationen schon digital vorliegen, werden sie derzeit noch nicht in Zusammenhang gebracht. Im Projekt TailoredMedia (Tailored and Agile enrIchment and Linking fOR sEmantic Description of multiMedia) wird nun erarbeitet, wie alle diese Informationen miteinander verknüpft werden können. Damit steigt die Qualität der Suche von Sachverhalten oder Personen und die Arbeit von Journalist*innen, Archivar*innen und Medienbeobachter*innen wird zunehmend erleichtert.

Wie arbeitet die künstliche Intelligenz? "Die Inhalte werden automatisch nach Informationen wie zum Beispiel Namen von Orten, Firmen oder Personen, die im Text genannt oder im Bild zu sehen sind, interessante Objekte oder Gebäude durchsucht. Die Informationen werden dann vernetzt abgespeichert, etwa welche Personen und genannte Namen, Objekte zugleich oder hintereinander in den verschiedenen Quellen zu einem Video gefunden wurden. Diese vernetzten Informationen werden dann mit dem Ziel zusammengeführt, aus vielen Hinweisen gesicherte, für Journalist*innen, Archivar*innen und Medienbeobachter*innen nutzbare Informationen abzuleiten", erklärt Georg Thallinger, Projektleiter von DIGITAL, dem Institut für Informations- und Kommunikationstechnologien der JOANNEUM RESEARCH. Zur Bedeutung des Projekts für den ORF sagt Christoph Bauer, Archivar und Projektleiter seitens des ORF: "Das multimediale Archiv des ORF muss in Zukunft immer größere Mengen an Medieninhalten bewältigen, auswerten und unseren Benutzer*innen best- und schnellstmöglich zugänglich machen. Von den in TailoredMedia angepeilten Zielen und Ansätzen erwarten wir uns ganz bedeutende Impulse und Lösungen zur Bewältigung dieser Aufgabe. Große Hoffnung setze ich hier auf die intelligente Verknüpfung unterschiedlicher Technologien zur automatischen Metadaten-Generierung und der Verwendung bereits bestehender Datensammlungen innerhalb und außerhalb unseres Unternehmens zur Verbesserung dieser automatischen Vorgänge, sowie auf die unter direkter Mitwirkung unserer Mitarbeiter*innen zu entwickelnden Werkzeuge zur Beherrschung der damit erzielten neuen, gigantischen Daten- und Informationsmengen."

Erste Ergebnisse wurden kürzlich der EBU (Europäische Rundfunkunion) vorgestellt. Im Rahmen der CBMI (International Conference on Content-Based Multimedia Indexing, https://cbmi2021.univ-lille.fr/) haben die Forscher*innen ein erstes System für die automatische Erzeugung und Darstellung von Beschlagwortungen für Medieninhalte als Demo präsentiert. Die Präsentation wurde mit dem Best Demo Award der Konferenz ausgezeichnet.

Projektpartner und Beiträge

Das von JOANNEUM RESEARCH geführte Konsortium ist multidisziplinär zusammengesetzt, um die erforderlichen Kompetenzen zur Erreichung der Projektziele einzubringen. Mit der österreichischen Mediathek und dem ORF sind zwei Organisationen unterschiedlicher Größe aus dem Mediensektor beteiligt. Die Mediathek hat einen klaren Schwerpunkt auf Archivierung, während der ORF den gesamten Medienlebenszyklus abdeckt. Beide Partner können damit eine breite Palette an Workflows, Best Practices und technischen Anforderungen einbringen. Die Fachhochschule St. Pölten wird diese Inputs als Ausgangspunkt für einen benutzerzentrierten Gestaltungsprozess nutzen, um eine breitere Gruppe von Expert*innen aus der Medienbranche in den Entwurf einer intuitiven Schnittstelle für die Bearbeitung und das Suchen einzubeziehen. Die technische Expertise in semantischen Technologien und audiovisueller Inhaltsanalyse wird von Redlink bzw. JOANNEUM RESEARCH eingebracht. Beide Partner haben langjährige Erfahrung in diesen Technologien und deren Anwendung in der Medienbranche. Redlink wird als innovatives KMU die Ergebnisse in die Produktentwicklungspipeline einfließen lassen. Die Projektpartner sind in den nationalen und internationalen Communities gut vernetzt, was den Wissensaustausch während und nach dem Projekt sowie die Verwertung der Projektergebnisse sicherstellt. Wesentliche Geldmittel werden vom Bundesministerium für Klimaschutz, Umwelt, Energie, Mobilität, Innovation und Technologie (BMK) im Rahmen des Förderprogramms "IKT der Zukunft" zur Verfügung gestellt.

Die JOANNEUM RESEARCH Forschungsgesellschaft mbH entwickelt Lösungen und Technologien für Wirtschaft und Industrie in einem breiten Branchenspektrum und betreibt Spitzenforschung auf internationalem Niveau. Bestens eingebettet in das nationale und internationale Innovationsnetzwerk erarbeiten die Forscherinnen und Forscher Innovationen in den drei Themenbereichen Informations- und Produktionstechnologien, Humantechnologie und Medizin sowie Gesellschaft und Nachhaltigkeit.

Kontakt: 

DI Georg Thallinger
JOANNEUM RESEARCH Forschungsgesellschaft
DIGITAL - Institut für Informations- und Kommunikationstechnologien
Steyrergasse 17, 8010 Graz
Tel.: +43 316 876-1240
Georg.thallinger@joanneum.at