Die Österreichische Plattform für Forschungs- und Technologiepolitikevaluierung (fteval) feiert heuer ihr 25-jähriges Bestehen. Seitdem wird daran gearbeitet, dass Förderungen da ankommen, wo sie sollen, und so konzipiert sind, dass der gesellschaftliche Nutzen möglichst groß ist. Viel hat sich im Lauf der Jahre verbessert, es gibt aber noch Luft nach oben, erklärte Klaus Schuch, fteval-Geschäftsführer und wissenschaftlicher Leiter des ZSI – Zentrum für Soziale Innovation.

"Die Plattform ist als loses Netzwerk gegründet worden, das sich zum Ziel gesetzt hat, die Auftraggeber von Evaluationen – also Ministerien und Agenturen – sowie Auftragnehmer einander näher zu bringen. Das war kein Ding, das Top-down von der Politik verordnet worden ist, aber sehr wohl von ihr aufgegriffen wurde", so Schuch im Gespräch mit APA-Science. Auslöser sei der kurz zuvor erfolgte EU-Beitritt Österreich gewesen, der es notwendig gemacht habe, den EU-Standards zu folgen. Also habe man versucht, in Österreich eine Evaluationskultur im Bereich Forschung, Technologieentwicklung und Innovation (FTI) zu schaffen, weil hier sehr wenig standardisiert oder institutionalisiert gewesen sei.

"Vorangetrieben haben das Leute wie Rupert Pichler (heute BMK), Dorothea Sturn (heute ZSI), Michael Stampfer (heute WWTF), Leonhard Jörg (heute FFG), Sonja Sheikh (heute ACR) und Gernot Hutschenreither (heute OECD)", verwies Schuch auf die Initiatoren der Plattform, die seit 2006 als Verein organisiert ist. "Einmalig in Österreich und wahrscheinlich auf der ganzen Welt ist, dass neben den Agenturen und führenden Providern von Evaluierungen auch die Ministerien Mitglied sind. Das ist sehr selten und darum beneiden uns viele", so der fteval-Geschäftsführer. Dabei gebe es im Umgang miteinander einige No-Gos: "Die Plattform selbst macht keine Evaluierungen. Wir sprechen nicht über geplante oder laufende Evaluierungen. Da geht es nicht ums Mauscheln, sondern ums Lernen voneinander", erläuterte Schuch. Außerdem müssten sich die Mitgliedsorganisationen einem Verhaltenskodex unterwerfen.

In den ersten zehn Jahren von 1996 bis 2006 sei seitens der Öffentlichen Hand und der Unternehmen sehr viel in den FTI-Bereich investiert worden. "Viele Forschungsprogramme entstanden gerade in der industriellen und angewandten Forschung. Damit nahm auch die Notwendigkeit zu, diese Programme zu evaluieren", so Schuch. Das habe in gesetzlichen Regelungen Niederschlag gefunden. So müssen FTI-Programme in Österreich evaluiert werden, "das ist nicht in allen Ländern so". Ein Problem sei aber die Art und Weise wie in Österreich Evaluierungen durchgeführt werden.

Mehrere Kritikpunkte

"Evaluierungen sind zu klein dimensioniert. Es ist absurd zu glauben, um 30.000 Euro eine große Studie mit einer inhaltlichen Tiefe zu bekommen. Das ist aber noch immer üblich", monierte Schuch: "Nur wenn wissenschaftliche Methoden angewandt werden und die Rigorosität der Wissenschaft eingehalten wird, ist eine Evaluierung eine Evaluierung. Sonst ist sie eine Meinung. Die Höhe der Budgets limitiert die methodische Varianz. Das führt zum nächsten Punkt: Man bietet die Methoden an, die am robustesten sind, aber man versucht nicht, in neue Methoden – etwa Textmining – zu gehen. Für Data Scientists ist das Budget meist zu klein. Da müssen wir mehr Innovation reinbringen", sagte der Experte.

Österreich stehe außerdem noch immer in einer Tradition der Programmevaluierung, also Einzelblicke zu machen, während die Politik zumindest in der Theorie stärker in Richtung Vernetzung gehe. "Wir brauchen mehr Portfolioevaluierungen. Man sollte sich nicht nur das einzelne Programm, sondern alle Instrumente, die zu einem bestimmten Ziel führen, gemeinsam anschauen. Oft gibt es Überlappungen und Doppelgleisigkeiten, manchmal wird auch Wesentliches nicht abgedeckt", kritisierte Schuch. Außerdem sei die Verfügbarkeit beziehungsweise Zugänglichkeit von Daten ein Problem.

Fokus auf die Wirkungsvorschau

Wünschenswert sei ein stärkerer Fokus auf die Wirkungsvorschau. "Bevor man ein neues Instrument, eine Maßnahme, ein Programm oder eine Institution plant, sollte man vorab überlegen: Braucht man das wirklich? Ist das Design tatsächlich geeignet, um das Ziel zu erreichen? Wenn man sich dann entschlossen hat, etwas zu tun, sollte man von Anfang an Eckpunkte für die Evaluierung mitdenken. Wie ist die Ausgangssituation? Wann will man eine Evaluierung ansetzen? Sinnvoll ist auch nicht nur zu evaluieren, wenn ein Programm zu Ende geht oder eine Verlängerung ansteht, sondern sich zehn Jahre danach anzuschauen, welche Effekte sich gezeigt haben. Diese mittel- bis langfristige Sicht fehlt", konstatierte Schuch.

Die Plattform versuche diese Ansätze zu thematisieren und die vorhandenen Kompetenzen zu vernetzen. So würden Trainings organisiert, Standards für gute Evaluationspraxis entwickelt und Aktivitäten wie Kurse, internationale Konferenzen, Tagungen und Weiterbildungen gesetzt. Außerdem gibt es ein eigenes Journal und ein offenes Repositorium, in dem fast alle Evaluierungsberichte im FTI-Bereich in Österreich veröffentlicht werden. Normalerweise alle drei Jahre organisiert die Plattform die "REvaluation Conference", die größte europäische Fachkonferenz zur Evaluation von Forschungspolitik. Sie musste allerdings gerade erst verschoben werden und soll nun vom 5. bis 6. Mai 2022 in Wien über die Bühne gehen. Dort sollen auch die ersten Preisträgerinnen des neuen "Evaluation Talent Award", der zum Jubiläum gemeinsam mit dem Rat für Forschung und Technologieentwicklung (RFTE) eingeführt wurde, geehrt werden.

In den nächsten 25 Jahren werde vor allem die Frage im Mittelpunkt stehen, welchen Beitrag Wissenschaft, Forschung und Technologie über den Bereich der Ökonomie hinaus für die Gesellschaft leisten können – Stichwort "Grand Challenges" wie Klimawandel oder Biodiversität. "In Österreich sind die Programme ja sehr stark auf den wirtschaftlichen Nutzen ausgerichtet. Manche sind der Meinung, wir sollten FTI-Politik viel stärker für Transformationsagenden nutzen. Das hat direkten Einfluss auf die Evaluierungen. Denn der Einfluss eines Programms auf die CO2-Reduktion ist viel komplexer und hat deutlich höhere Datenanforderungen als wenn man nur den Impuls für die Wirtschaft betrachtet", so Schuch.

Service: "REvaluation Conference", 5. bis 6. Mai 2021, Wien, www.revaluation2021.eu