Politik & Wirtschaft

Neue Form der Ressourcenzuteilung an den Teleskopen der ESO © APA (AFP)
Neue Form der Ressourcenzuteilung an den Teleskopen der ESO © APA (AFP)

APA

Forschungsprojekte: Antragsteller bewerten ihre Vorhaben gegenseitig

07.04.2020

Wer die Teleskope der Europäische Südsternwarte (ESO) in Chile nutzen darf, entscheidet ein Expertengremium, das unter der Flut von Anträgen stöhnt. Genausogut könnten die Astronomen ihre Projekte gegenseitig bewerten, nachdem intelligente Computerprogramme für jeden Vorschlag die Kollegen mit der größten Expertise dazu herausgesucht haben, erklären Forscher im Fachjournal "Nature Astronomy".

Ein Team um Wolfgang Kerzendorf von der Michigan State University (USA), dem auch Glenn van de Ven vom Institut für Astronomie der Universität Wien angehörte, testete neben dem aktuellen Begutachtungsmodus für Projektanträge an der Europäischen Südsternwarte (European Southern Observatory, ESO) eine neues Verfahren. Derzeit treffen sich regelmäßig kleine Expertengremien, um die besten Anträge herauszusieben. Vorab müssen sie riesige Mengen an Projektanträgen lesen. Das neue Verfahren soll sie entlasten und auch gerechter sein, weil nicht nur eine kleine, etablierte Gruppe entscheidet.

Jeder Antragsteller bekam eine gewisse Anzahl von Projekten seiner Konkurrenten zur Bewertung. Zugeteilt wurden ihm die Anträge von intelligenten Maschinen, die Menschensprache verarbeiten können (natural language processing) und sich ständig durch ihre Arbeitserfahrung weiterentwickeln (machine learning). "In der Arbeit konnten wir zeigen, dass dieses aufgeteilte Experten-Gutachten (distributed peer review) gleichwertig mit dem traditionellen Gremien-Verfahren ist", schrieben die Forscher in der Studie.

Keine Verzerrung durch fix aufgestelltes Gremium

Das getestete Auswahlverfahren habe ein paar Vorteile: Jedes Projekt könne von mehr Personen begutachtet werden als bei kleinen Experten-Gremien. Die Begutachter werden trotzdem nicht mit einer hohen Zahl an Anträgen überfordert und können dadurch mehr Zeit auf die Bewertung einzelner Vorschläge aufwenden. Sie sind zudem so gut wie möglich vertraut mit der Materie. Es gäbe keine Verzerrung durch ein fix aufgestelltes Gremium. Es bezieht mehr Leute aus der Forschungsgemeinschaft ein und ist damit demokratischer, und die Antragsteller sehen, wie hoch die Qualität der Projekte ihrer Konkurrenten ist. Dadurch können weniger erfahrene Forscher lernen und ihre eigene Arbeit besser einschätzen. In anonymen Feedback-Befragungen wurde die neue Begutachtungsvariante jedenfalls "überwältigend gelobt", berichten die Autoren.

Sie ermutigen in ihrer Arbeit andere Organisationen, ähnliche Studien durchzuführen. Damit könnte man aus der Situation herauskommen, in der das klassische Peer-Review-Verfahren ungeachtet seiner Beschränkungen in Ermangelung besserer Alternativen verwendet werde.

Service: https://doi.org/10.1038/s41550-020-1038-y

STICHWÖRTER
Forschung  | Astronomie  | Wien  | Wissenschaft  | Naturwissenschaften  |
Weitere Meldungen aus Politik & Wirtschaft
APA
Partnermeldung