Führt man eine wissenschaftliche Studie mehrfach durch, kann vor allem dann davon ausgegangen werden, dass eine gewonnene Erkenntnis Bestand hat, wenn verlässlich ähnliche Ergebnisse erzielt werden. Ein Quasi-Nachmessen ist in vielen Forschungsbereichen aber höchst aufwendig - und daher auch entsprechend selten. Dass Sozialwissenschafter ein recht gutes Gespür für replizierbare Forschungsergebnisse haben, zeigen u.a. Tiroler Forscher im Fachblatt "Nature Human Behaviour".

Ein Experiment liefert nur dann Hinweise auf einen tatsächlich bedeutenden Sachverhalt und ist damit von wissenschaftlicher Relevanz, wenn es mit gleichem Ergebnis wiederholt werden kann. Diese "Replizierbarkeit" ist eine der wichtigsten Annahmen, auf denen das wissenschaftliche Gedankengebäude ruht. Ein Team um Felix Holzmeister vom Institut für Wirtschaftstheorie, -politik und -geschichte der Universität Innsbruck und Kollegen aus mehreren Ländern setzte sich bereits in mehreren Untersuchungen mit der Frage auseinander, inwiefern Ergebnisse sich tatsächlich in ähnlicher Form wiederholen lassen.

"Entscheidungsmarkt" für Studien-Plausibilität

Für die aktuelle Untersuchung griff man 41 Experimente mit Teilnehmern heraus, die alle über eine Online-Plattform rekrutiert wurden. All diese Studien wurden zwischen den Jahren 2015 und 2018 in dem angesehenen Fachjournal "PNAS" veröffentlicht. Um diese Arbeiten bauten die Wissenschafter einen sogenannten "Entscheidungsmarkt" auf.

Auf diesem Markt wurden Aktien gehandelt, deren Wert durch die Wahrscheinlichkeit bestimmt wurde, mit der andere Forscher daran glaubten, dass sich das Ergebnis auch wiederholen lässt. 162 Sozialwissenschafterinnen und -wissenschafter traten darüber in Austausch miteinander. So kam jedes Experiment zu einem "Marktpreis", der sozusagen das Vertrauen in seine Replizierbarkeit widerspiegelte, wie Holzmeister im Gespräch mit der APA erklärte: "Wir haben den 'Markt' darüber entscheiden lassen, welche Studien repliziert werden."

"Hochpreisige" Untersuchungen halten eher

Die am höchsten und am niedrigsten bewerteten jeweils zwölf sowie zwei zufällig ausgewählte Experimente wurden daraufhin tatsächlich ein zweites Mal von anderen Forschungsteams durchgeführt. Insgesamt zeigte sich, dass aus der Gruppe der Studien mit dem höchsten Marktpreis zehn von zwölf ein Ergebnis erbrachten, das in die gleiche Richtung ging wie in der ersten Untersuchung. Am anderen Ende der Preis-Skala kam man nur bei einem Drittel der replizierten Studien zu einem vergleichbaren Ergebnis. Insgesamt konnten knapp mehr als 50 Prozent aller Studien erfolgreich repliziert werden.

Für Holzmeister und Kollegen ergibt sich daraus, dass solche Entscheidungsmärkte ein gutes Vehikel wären, um herauszufiltern, welche Untersuchungen man durch Replikation überprüfen könnte und sollte, um entweder vielversprechende Erkenntnisse zu untermauern oder Ergebnissen auf den Zahn zu fühlen, die der Community unplausibel erscheinen. Klar sei, dass niemand die Ressourcen habe, mehr oder weniger alles nochmals durchzuchecken: "Das kostet einfach wahnsinnig viel Geld und Nerven." Auf diese Weise ließe sich jedoch sinnvoll eine Vorauswahl treffen, zeigte sich der Forscher überzeugt. Man könnte mit so einem "Markt" nämlich auch Studien herausfiltern, deren Ergebnisse besonders knapp ausfallen oder die besonders gesellschaftspolitisch relevant sind.

Zu wenige Überprüfungen

Alles in allem müsse man festhalten, dass Replikationen "viel zu selten" durchgeführt würden. Das ist durchaus problematisch, da eine geringe Replizierbarkeit auch das vielfach nicht sehr hohe Vertrauen in die Wissenschaft und ihre Qualitätssicherungssysteme hebt. Es gehe um nichts Anderes als "wahrscheinlich wahre Effekte zu bestätigen und wahrscheinlich falsche Ergebnisse aus der Literatur auszuschließen bzw. zu korrigieren", sagte Holzmeister.

Service - https://dx.doi.org/10.1038/s41562-024-02062-9