Von der gelungenen Programmierung eines KI-Modells, das menschliche Gefühle beim Hören von Bach-Chorälen spiegeln kann, hat ein Forscherteam mit Beteiligung der Johannes Kepler Universität (JKU) Linz und der Universität Innsbruck im Fachblatt "Royal Society Open Science" berichtet. "Das Neue an unserer Methode ist, dass wir Erkenntnisse aller großen Forschungsrichtungen zum Thema Emotion und Musik zusammengebracht haben", sagte Studienautorin Emilia Parada-Cabaleiro zur APA.

Denn es gibt viele Arten, Musik und ihren Zusammenhang mit Emotionen zu erforschen: In den Musikwissenschaften werden etwa per Hand Partituren analysiert, während Psychologen Probanden hinzuziehen, die ihre emotionalen Reaktionen auf das Gehörte kundtun. Computerwissenschafter programmieren hingegen, oft auch außerhalb des akademischen Kontexts, für große Streaming-Dienste wie Spotify, Modelle, um Informationen zu gewinnen oder etwa die Empfehlungsalgorithmen zu verbessern, erklärte Parada-Cabaleiro, die als Musik- und Computerwissenschafterin transdisziplinär arbeitet.

"Die Idee zu unserem Forschungsansatz kam auch aus einer Frustration, dass diese drei Disziplinen nicht von den Fortschritten der anderen lernen, oder überhaupt davon wissen", sagte die Forscherin. So werden etwa bei den Big Data-Modellen der großen Unternehmen Partitur und Text schlichtweg ignoriert, während der Fokus einzig auf dem Sound liegt.

Durch die von den Forschenden formulierte transdisziplinäre Methode gelang nun die Kombination der Informationen, die aus der Musik, der Partitur und dem Text ausgelesen wurden. Das Ziel war herauszufinden, welche Eigenschaften und Kombinationen den größten Effekt auf das Empfinden haben. Mithilfe von maschinellem Lernen wurden die acht Choräle von Johann Sebastian Bach geclustert und gezeigt, welche sich in Bezug auf das Gefühlsempfinden ähneln und welche nicht. "Diese Cluster haben tatsächlich das Empfinden der Menschen einer parallel durchgeführten Befragung zu großen Teilen gespiegelt", so Parada-Cabaleiro.

Computerwissenschaften unterschätzen subjektive Empfindungen

Die Gefühle, die die Musik beim Menschen auslöst, wurden nämlich auch anhand von 44 Probanden untersucht. "Genau das ist die große Schwäche der Computerwissenschaften. Ihre Modelle sind bezüglich dem sehr subjektiven menschlichen Gefühlsempfinden aus psychologischer Sicht meist schlecht kategorisiert", so die Studienautorin weiter. Die Subjektivität von Gefühlen und der Aufwand, den musikpsychologische Studien mit sich bringen, werden von den Computerwissenschaften, die wegen der großen Budgets der Unternehmen eine führende Rolle im Feld innehaben, mithin einfach unterschätzt.

"Wir haben für die Untersuchung Bach gewählt, weil religiöse Musik Emotionen tendenziell stärker anregt", sagte Parada-Cabaleiro. Die Ergebnisse: Alle Stücke, die von einem Chor gesungen wurden, seien direkt mit Religiosität assoziiert worden. Wenn aber die gleichen Choräle nur von vier Instrumenten gespielt worden sind, lag die Aufmerksamkeit viel stärker auf den feingliedrigeren Inhalten der Musik. Zudem konnte man zeigen, dass bei Ambivalenzen zwischen Text und Musik, also etwa bei einem fröhlichen Text begleitet von trauriger Musik, letztere eine größere Rolle für das Gefühlsempfinden spiele. "Das sind zwar Erkenntnisse, die in den Musikwissenschaften schon bekannt und teils auch umstritten waren. Aber wir konnten eben zeigen, dass Erkenntnisse der einen Disziplin mit den Methoden einer anderen reproduziert werden können", so Parada-Cabaleiro.

Auf diese Art könnten KI-Modelle auch eine Alternative zu aufwendigen und teuren psychologischen Studien bieten. Ersetzen solle dieses Vorgehen die Befragungsmethoden nicht, sondern eine ergänzende, zusätzliche Option darstellen, wenn der "Goldstandard", die Annotation durch die Befragung von Probanden, nicht möglich ist, erläuterte die Forscherin.

"Unabhängig davon sollten die Tools, die im Rahmen der computerwissenschaftlichen Musikforschung Verwendung finden, im Hinblick auf die Komplexität des subjektiven Gefühlsempfindens verbessert und auf alle Ebenen der Musik, also Audio der jeweiligen Performance, Partitur und Text erweitert werden", resümierte Parada-Cabaleiro. Nicht nur die Algorithmen großer Streaming-Dienste könne man so optimieren - das Feld der Musiktherapie würde beispielsweise auch von besserem Wissen um die emotionale Reaktion auf Musik profitieren.

Service: https://doi.org/10.1098/rsos.230574