"Wissenschaftliche Qualitätskontrolle, Kommerz und Big Data"
Die mediale Berichterstattung der letzten Wochen um dubiose Geschäftspraktiken einiger Anbieter wissenschaftlicher Publikationsorgane und Konferenzen lief oftmals unter dem Stichwort fake science und suggerierte, es gäbe ein zunehmendes Problem mit unseriöser Wissenschaft. Dem wurde vielfach widersprochen, weil es die Sachlage verkennt.
Alle Daten weisen darauf hin, dass bewusstes Fehlverhalten in Österreich wie auch in vielen anderen Ländern ein Randproblem ist (siehe u.a. die FWF-Statistiken). Im Gegenteil, die Sensibilität für die Regeln guter wissenschaftlicher Praxis hat in den letzten Jahren erheblich zugenommen. Das belegen etwa die Einrichtungen entsprechender Kommissionen an den Forschungsstätten, Foren wie Retraction Watch oder Initiativen, die sich um bessere Nachvollziehbarkeit wissenschaftlicher Ergebnisse bemühen.
It"s the economy, stupid!
Die Wissenschaft ist in den letzten Jahrzehnten weltweit derart gewachsen, dass sich die Anzahl der wissenschaftlichen Publikationen mittlerweile alle neun Jahre verdoppelt. Dass sich damit viel Geld verdienen lässt, liegt auf der Hand und kann exemplarisch an den Geschäftspraktiken des legendären Medientycoons Robert Maxwell bereits ab den 1950er-Jahren nachvollzogen werden, der die Kommerzialisierung des akademischen Publikationswesens eingeleitet hat.
Die Entwicklung wird vorangetrieben, indem ein Teil der WissenschaftlerInnen – vor allem in westlichen Ländern – ausschließlich nach Veröffentlichungen in den führenden Fachorganen strebt, während ein anderer Teil – vor allem in Entwicklungsländern – überhaupt erst einmal publiziert werden will (Chen/Björk 2015). Den ersten Fall der Abhängigkeit von nur einigen Fachorganen nutzen große kommerzielle Verlage und erzielen außergewöhnlich hohe Profite. Den anderen Fall nutzen Anbieter, indem sie niedrige Zugangsschranken schaffen und möglichst viel publizieren. Darunter befinden sich dann auch einige wenige dubiose Geschäftspraktiken.
Dem kann entgegnet werden, indem Förderungsorganisationen und Forschungsstätten gegenüber den kommerziellen Großverlagen Standards setzen, wie es die OA2020-Initiative der Max-Planck-Gesellschaft und der in den nächsten Wochen erscheinende Plan S führender europäischer Förderungsorganisationen anvisieren. Das beinhaltet unter anderem auch, Publikationsinfrastrukturen aufzubauen, die von der Wissenschaft kontrolliert werden und die nicht dem Zwang hoher Profitmargen unterliegen. Einige erfolgsversprechende Initiativen gibt es bereits, wie die Open Library of Humanities, elife, arXiv, SciPost, OAPEN, Europe PubMedCentral, Directory of Open Access Journals oder Zenodo.
Datenexplosion
Das Wachstum der Wissenschaft bedeutet auch ein Informationswachstum in einer digitalisierten Welt, die die bisherigen Mechanismen der Qualitätskontrolle herausfordert.
Als Qualitätskontrolle in der Wissenschaft hat sich nach dem 2. Weltkrieg das Peer Review entwickelt. Wissenschaftliche Publikationen werden bei einem Verlag eingereicht und von externen Experten und Expertinnen in der Regel entgeltlos beurteilt. Diese empfehlen, die Arbeit zu publizieren (ggf. unter Auflagen) oder sie abzulehnen.
Peer Review wurde bis vor einigen Jahrzehnten bei einigen, aber nicht bei allen Publikationsorganen angewendet. Das hat sich grundlegend geändert. Mittlerweile wird Peer Review von fast allen Publikationsorganen durchgeführt. Mehr noch: Peer Review ist nunmehr das universelle Instrument für fast alle akademischen Aktivitäten. So werden die wissenschaftlichen Leistungen von Förderungsprogrammen, Personen, Institutionen, Disziplinen oder ganzer Ländern begutachtet. Das wäre unproblematisch, wäre die Arbeitsbelastung auf die Wissenschaftsgemeinschaft gleich verteilt. Das ist sie aber nicht, vielmehr folgt sie in etwa der Pareto-Verteilung, das heißt ca. 20 Prozent der WissenschaftlerInnen tragen die Last von ca. 80 Prozent aller Begutachtungen ( Kovanis u.a. 2016). Hinzu kommt, dass es zwar auf der einen Seite immer schwerer wird, in führenden Fachorganen zu publizieren, da diese ihr branding durch immer höhere Ablehnungsraten vermarkten. Auf der anderen Seite sind die Eingangshürden für Publikationen durch das enorme Wachstum an Fachorganen und vor allem durch die Digitalisierung enorm gesunken. Was in der gedruckten Welt abgelehnt wurde, verschwand meist in Schubladen oder Papierkörben. In der digitalen Welt wird nahezu alles irgendwann und irgendwo publiziert.
Das hat den Mathematiker und Gewinner der Fields-Medaille, Timothy Gowers, oder auch den ehemaligen Verlagsmanager Jan Velterop dazu bewegt, Peer Review für wissenschaftliche Publikationen anders zu denken. Wenn ohnehin fast alles irgendwann und irgendwo publiziert wird, könnten die Wissenschaftler ihre Publikationen auch in einem frei zugänglichen Repositorium archivieren (siehe z.B. arXiv oder bioarXiv). Nicht nur einzelne ausgewählte Peers, sondern potenziell die gesamte interessierte Wissensgemeinschaft könnte die Arbeiten dann bewerten, kritisieren und verbessern. Fehlerhafte Arbeiten werden korrigiert, uninteressante Arbeiten bleiben unbewertet, und Arbeiten mit betrügerischer Absicht müssten jederzeit mit Aufdeckung rechnen. Ein solches Verfahren müsste zwar durch eine sorgfältige Moderation begleitet werden, kann aber dazu beitragen, die Kosten erheblich zu senken, und die Basis des Peer Reviews zu verbreitern. Die Zeitschrift Atmospheric Chemistry and Physics zeigt in Ansätzen, wie es funktionieren kann.
Ein eher dystopischer Wandel des Peer Review könnte sich über Big Data vollziehen. Die großen Wissenschaftsverlage bezeichnen sich schon heute als scientific information provider. Damit wird ausgedrückt, dass sie Daten des gesamten wissenschaftlichen Arbeitszyklus sammeln, aufbereiten und anbieten. Das beginnt bei den Forschungsdaten, geht über Tools zur Datenanalyse und Dissemination und endet bei Tools für die Evaluation von Forschungsergebnissen. Das könnte dazu führen, dass diese Anbieter mehr über die Wissenschaftler wissen als diese über sich selbst oder ihre Forschungsstätten. Auf Basis der Daten und ihrer Verknüpfungen könnten dann Prognosen über zukünftige Forschungsleistungen und -richtungen erstellt werden.
Dass das keine reine Spekulation ist, illustriert die zunehmende Praxis einiger Zeitschriften, Artikel in kürzester Zeit abzulehnen, oft mit dem Verweis auf eine passendere Zeitschrift aus dem gleichen Verlagshaus. Da liegt die Vermutung nahe, dass bereits jetzt Tools maschinellen Lernens eingesetzt werden, um unter anderem publizierbare Artikel zu identifizieren.
Die Wissenschaft hat die Herausforderungen erkannt. Davon zeugen etwa der Bericht Metric Tide aus Großbritannien, die San Francisco Declaration on Research Assessment (DORA), das Leiden Manifesto for Research Metrics oder die Open Citation Initiative. Diese Initiativen verbindet, dass sie hohe Standards an Offenheit, Transparenz, Integrität und Ethik setzen, so dass unter anderem kommerziellen Interessen und kennzahlgetriebenen Algorithmen Grenzen gesetzt werden. Auch der Wissenschaftsrat und der FWF haben jüngst konkrete Vorschläge der Weiterentwicklung der Qualitätssicherung unterbreitet.
Anmerkung: Der Beitrag stellt die Sicht des Autors dar, die sich nicht mit der des FWF decken muss.