Kultur & Gesellschaft

Ungelöste methodische Probleme © APA (AFP)
Ungelöste methodische Probleme © APA (AFP)

Kooperationsmeldung

Wie man Wissenschaft besser messbar macht

15.12.2016

Diese Meldung ist Teil einer Medienkooperation mit dem ZSI

Staatlich geförderte Forschungsprogramme gehen Hand in Hand mit Evaluierungen, um deren Effekte zu messen. Das kann je nach Fragestellung und Datenlage ökonomische oder strukturelle Einblicke in das Wissenschaftssystem bringen. Problematischer wird es, wenn die Wirkung der Wissenschaft auf die Gesellschaft als Ganzes gemessen werden soll, erklärte Klaus Schuch vom ZSI im Gespräch mit APA-Science.

"Die politischen Ansprüche sind sehr groß geworden. Man will wissen, was die Wissenschaft auf die Gesellschaft als Ganzes bewirkt", so der wissenschaftliche Direktor des Zentrums für Soziale Innovation (ZSI). Dem gegenüber stünden Einwände von Evaluatoren, dass dies faktisch gar nicht darstellbar sei. Es würden zwar Indikatoren gebastelt, aber für eine solche umfassende Analyse fehle es an Daten und Methoden.

Zwischen Anspruch und Wirklichkeit

"Da sind viele Probleme zwischen Anspruch und Wirklichkeit. Die Frage ist, wie man so etwas wie gesellschaftlichen Impakt nachweisen kann, das ist ein ungelöstes methodisches Problem", sagte Schuch, der auch als Geschäftsführer von fteval (Plattform für Forschungs- und Technologieevaluierung) fungiert. Die Evaluierung sollte sich stattdessen stärker auf das zu untersuchende Programm selbst konzentrieren und logische Ableitungen versuchen, ob es positive oder negative Implikationen für die Gesellschaft haben könnte.

Ein weiteres Versäumnis in der bisherigen Evaluierungspraxis sieht Schuch in der fehlenden Einbindung der Technikfolgenabschätzung: "Man müsste viel mehr Evaluatoren und Technikfolgenabschätzer zusammenbringen", fordert Schuch eine Kooperation, die es derzeit noch nicht gibt. Ebenso nur auf der Wunschliste befindet sich ein Innovationsforschungsprogramm, das überprüfen könnte, welche Innovationen durch das System befördert werden. "Über Evaluierungen wird man das allein nicht lösen können, weil die meistens sehr kleinteilig angelegt sind. Und für Fragen, die nicht gestellt wurden, gibt es kein Geld."

Budget um Neues auszuprobieren

Genau hier sieht Schuch eine Stellschraube, um Evaluatoren mehr Spielraum zu bieten und ein Paradoxon aufzulösen. Auftraggeber würden sich oft wünschen, dass neue Methoden in Evaluierungen einfließen, was sich in den Budgets aber nicht widerspiegle. Stattdessen könnten von Haus aus zehn Prozent des Evaluierungsbudgets dafür gewidmet sein, "etwas Neues auszuprobieren oder eine Frage zu behandeln, die möglicherweise gar nicht gestellt wurde". Die Auftraggeber würden zwar meistens, aber nicht immer wirklich alle relevanten Fragen stellen.

Gewisse Hoffnungen richtet die Evaluatoren-Community derzeit auf eine Arbeitsgruppe des European Research Area Committee (ERAC). Diese erstellt einen Katalog mit Kriterien, die die Effekte von europäischen Rahmenprogrammen auf einzelne Mitgliedsländer erhebt und so eine Vergleichbarkeit dieser untereinander ermöglichen soll: "Die Vergleichbarmachung über einen so großen Katalog ist das Ziel, das man sich wünscht."

Konferenz "Open Evaluation"

Solchen und ähnlichen Fragen - wie etwa jene nach dem Umgang mit nicht-wissenschaftlichen Akteuren in Forschungsprojekten - widmete sich vor einigen Wochen die Konferenz "Open Evaluation", bei der sich rund 250 Experten in Wien getroffen haben. Die Veranstaltung wurde von fteval, deren Geschäftsstelle am ZSI verankert ist, gemeinsam mit dem Manchester Institute of Innovation Research (Jakob Edler, Mitglied des Rats für Forschungs- und Technologieentwicklung) und Philippe Laredo, Institute for Research and Innovation in Society (Paris L'Est) organisiert.

In Österreich finden pro Jahr ungefähr zehn bis 15 Evaluierungen von staatlich geförderten Forschungsprogrammen statt. Die wichtigsten Akteure sind Technopolis Austria, KMU Forschung Austria, Wirtschaftsforschungsinstitut (Wifo), Austrian Institute of Technology (AIT), Joanneum Research, Convelop, das Institut für Höhere Studien (IHS) und das ZSI.

STICHWÖRTER
Wissenschaft  | Wirtschaftswissenschaften  | Wien  | Exklusiv  | Koop  | Sozialwissenschaften  |
Weitere Meldungen Kultur & Gesellschaft
APA
Partnermeldung