Guidelines: Open-Peer-Review-Verfahren einfach implementieren und Akzeptanz fördern

im Interview mit Dr. Tony Ross-Hellauer

Im Februar 2019 wurden die “Guidelines for Open Peer Review Implementation” von Tony Ross-Hellauer und Edit Görögh veröffentlicht. Die Veröffentlichung entstand als Ergebnis eines Workshops, der vor etwa einem Jahr im Rahmen des EU-Projekts OpenUP in London stattfand. Rund 15 Expertinnen und Experten aus der Verlagsbranche sowie Peer-Review-Forschende nahmen daran teil. Die Ergebnisse einer zuvor für das Projekt OpenAIRE2020 durchgeführten Online-Umfrage über die Einstellung zum Open Peer Review unter wissenschaftlichen Redakteuren, Autorinnen, Gutachtern und Herausgeberinnen wurden ebenfalls berücksichtigt. Die Guidelines sind für Herausgeberinnen und Herausgeber, Redakteurinnen und Redakteure erstellt worden. Sie helfen, den Implementierungsprozess von Open-Peer-Review-Prozessen zu steuern, und dienen als Checkliste, die jeden der Schritte abdeckt.

In einem Interview für unser Blog erläuterte Tony Ross-Hellauer Hintergründe und zentrale Empfehlungen. Er ist Leiter der Open and Reproducible Research Group an der Technischen Universität Graz, Senior Researcher am Know-Center und Chefredakteur der MDPI Open Access Zeitschrift “Publications”.

Welches sind die Kernelemente von Open Peer Review?

Im Jahr 2017 habe ich ein Paper zur systematischen Überprüfung der Definitionen von Open Peer Review veröffentlicht. Ich habe festgestellt, dass es viele unterschiedliche Meinungen darüber gibt, was Open Peer Review ist. Und es gibt viele verschiedene Elemente des Open Peer Review, die nicht unbedingt gemeinsam implementiert werden müssen.

Das erste wichtige Element wäre die Offenlegung der Identitäten der Gutachterinnen und Gutachter. Normalerweise ist Peer Review mindestens einseitig blind (single-blind), was bedeutet, dass die Autorinnen nicht wissen, wer die Gutachter sind. Aber in einer Form des Open Peer Review sind sich die Autoren der Identität der Gutachterinnen bewusst. Eine weitere Form des Open Peer Review ist die Öffnung der Peer-Review-Reports. Das dritte wichtige Element wäre die Öffnung der Beteiligung am Reviewprozess, anstatt dass die Gutachterinnen von einem Herausgeber eingeladen werden.

Und welches sind die Vorteile von Open Peer Review?

Diese Kernelemente haben alle unterschiedliche Vor- und Nachteile. Ich denke, sie drehen sich alle in gewisser Weise um mehr Transparenz, Verantwortlichkeit oder Beteiligung an den Peer-Review-Prozessen. Eines der Hauptbedenken bei Peer Review ist im Allgemeinen das Ausmaß der Voreingenommenheit, sei sie nun explizit oder implizit, die unter Redakteuren, Gutachterinnen und Autoren ebenso besteht. Wenn die Gutachterinnen und Gutachter nicht hinter dieser Mauer der Anonymität versteckt wären, wäre die Wahrscheinlichkeit, dass Voreingenommenheit oder Interessenkonflikte Auswirkungen haben, geringer.

Einer der Hauptvorteile des Öffnens der Reports ist es, dass es innerhalb von Peer Reports viele großartige Informationen gibt, die im Moment von niemandem gesehen werden. Dies stellt eine großartige kontextuelle Information für wissenschaftliche Artikel und wissenschaftliche Arbeiten dar. Es dokumentiert aber auch den Qualitätssicherungsprozess, den die wissenschaftliche Arbeit durchlaufen hat. Es verdeutlicht die Strenge des Prozesses.

Schließlich könnte der Peer-Review-Prozess durch Open Participation integrativer gestaltet werden, was die Frage betrifft, wer als “Peer” gilt. Wissenschaft wird oft in recht kleinen und klar abgegrenzten Fachkreisen durchgeführt. Aber gerade mit dem Aufkommen der transdisziplinären und interdisziplinären Forschung kann es Menschen außerhalb dieser Kleingruppen oder Veranstaltungen außerhalb des Forschungssystems geben, die qualifiziert sind, eine Publikation sinnvoll zu kommentieren, und die vielleicht nie von einem Herausgeber gefunden werden würden.

Welches sind die wichtigsten Themen der Guidelines und welche allgemeinen Empfehlungen würdest du geben?

Die wichtigste Botschaft ist, dass es im Open Peer Review viele verschiedene Elemente gibt, die auf unterschiedliche Weise eingeführt werden können. Hinsichtlich der offenen Identitäten (Open Identities) können Sie es beispielsweise optional gestalten, dass Gutachterinnen und Gutachter ihre Identitäten offenlegen, oder Sie können es als Voraussetzung festlegen. Oder die Gutachterinnen und Gutachter bleiben bis zum Ende des Reviewprozesses anonym. Alle diese Einzelelemente sind voneinander getrennt und haben unterschiedliche Implikationen. Der wichtigste Punkt ist: Es gibt viele Möglichkeiten; es gibt kaum empirische Forschung, die Aufschluss darüber gibt, welche unter bestimmten Umständen die beste ist. Ein Journal ist wie eine Community und normalerweise muss man auf das Verhalten, die Ansichten und die Bereitschaft der Community reagieren.

Im Allgemeinen sollten Sie zunächst entscheiden, was Sie tun wollen, was Sie mit Open Peer Review erreichen wollen. Das wird Ihnen helfen, die Elemente auszuwählen, die Sie tatsächlich implementieren wollen. Nachdem Sie über diese Ziele entschieden haben, müssen Sie die Forschungscommunities ansprechen und sie an Bord holen.

Als nächstes planen Sie die Technologien und die Kosten, zum Beispiel für die Veröffentlichung von Peer-Review-Reports. In den meisten Manuskripteinreichungssystemen ist dafür kein Element vorgesehen, und es gibt noch keinen leicht skalierbaren Workflow. Daher müssen Sie möglicherweise einen Workaround finden oder bezahlen. Zusätzliche Schulungen, die Erläuterung des Konzepts gegenüber den Forschenden und so weiter verursachen ebenfalls zusätzliche Kosten. Daher könnten sich einige Verlage dafür entscheiden, nur einige dieser Prozesse in einigen wenigen Zeitschriften zur gleichen Zeit zu testen. Die Ergebnisse dieser Piloten scheinen immer sehr positiv auszufallen. Schließlich sollten Sie bewerten, wie der Pilot gelaufen ist. Erwägen Sie, eine richtige Studie aus diesem Experiment zu machen – und die Daten auch für andere Forscherinnen und Forscher zu öffnen.

Was würdest du Forschenden empfehlen?

Forschende könnten sich eine andere Guideline ansehen: Ten Considerations for Open Peer Review. Forscherinnen und Forscher sollten bedenken, dass bei offen gelegten Identitäten eine andere Situation vorliegt, um konstruktive Kritik zu geben und zu erhalten. Und wenn sich Forschende am Open Peer Review beteiligen, können sie natürlich eine sehr sichtbare Anerkennung erhalten.

Ein weiterer wichtiger Punkt ist, dass Open Reports eine großartige Trainingsressource insbesondere für Nachwuchsforschende darstellen. Wenn mehr von diesem Prozess online offen gelegt ist, umgibt ihn weniger Geheimnisvolles und Nachwuchsforschende können gute Ressourcen finden. Und letztendlich ist es so, dass wenn Sie an Open Peer Review teilnehmen wollen, gibt es immer die Möglichkeit, dies zu praktizieren. Viele Zeitschriften bieten zwar kein offizielles “Open Peer Review” an, erlauben es aber dennoch, dass Rezensentinnen und Rezensenten ihre Reports unterzeichnen können, wenn sie dies wünschen – um sicher zu sein, wenden Sie sich an den Herausgeber des Journals. Sie können zudem an der Kommentierung von Pre-Prints teilnehmen.

Was könnten Bibliotheken tun? Wie sieht ihre spezifische Rolle aus?

Ich denke, dass Bibliotheken mit ihren Informationskompetenzkursen und ähnlichem ein großartiger Ort für Peer-Review-Schulungen wären, und auch um Forschende und andere auf die Vor- und Nachteile von Open Peer Review aufmerksam zu machen. Ehrlich gesagt denke ich, dass der Weg für Bibliotheken darin besteht, mehr von den Verlagsfunktionen zu übernehmen. Immer mehr Universitätsverlage verfügen über eigene Zeitschriften, und diese Systeme können von der Abteilung für elektronisches Publizieren innerhalb von Bibliotheken betreut werden und so weiter. Ich sehe die Rolle der Bibliotheken also immer weniger darin, Informationen in die Universität zu bringen, sondern immer mehr darin, bei der Verbreitung der Informationen oder der Forschung, die innerhalb der Universitäten entstehen, nach außen zu unterstützen.

Wo könnten Open-Peer-Review-Prozesse sonst noch angewendet werden?

Sie können natürlich grundsätzlich überall dort angewendet werden, wo Sie Peer Review anwenden. Es gab Experimente mit dem Open Peer Review von Büchern, mit Exposés ebenso wie mit Manuskripten. Open Peer Review für Konferenzen ist zunehmend ein Thema, aber eine erhöhte Transparenz von Förderanträgen könnte auch nützlich sein. Allerdings es ist eigentlich noch eine offene Frage, wie dies in die Praxis umgesetzt werden könnte.

Was sollte noch getan werden, um Open Peer Review zu fördern?

Mehr Ausbildung ist notwendig. Und auch Projekte wie TRANSPOSE, an dem ich beteiligt bin. TRANSPOSE sammelt in einer Datenbank die Policies von Zeitschriften sowohl für Open Peer Review als auch für Pre-Prints, da es momentan keine zentrale Ressource gibt, die zeigt, wie viele Zeitschriften tatsächlich Open Peer Review durchführen. Unsere Ressource sollte bald online sein, damit man tatsächlich an einem Ort alle Zeitschriften finden kann, die über all diese verschiedenen Arten von Open-Peer-Review-Verfahren verfügen.

Welche Forschungsarbeiten planst du für die Zukunft?

Es gibt viele Ideen für die zukünftige Forschung. Ich interessiere mich sehr dafür, wie der Konsens innerhalb von Open-Peer-Review-Prozessen zustande kommt und wie die Machtverhältnisse, insbesondere zwischen den Herausgeberinnen und Herausgebern und den Gutachterinnen und Gutachtern, verteilt werden. Ich denke, dass die Herausgeberinnen und Herausgeber immer noch eine wirkliche Blackbox sind, und sie so viel Exekutivbefugnis haben, dass sie im Grunde genommen akzeptieren oder ablehnen, aber auch den Prozess steuern können, indem sie Gutachterinnen und Gutachter auswählen, von denen sie wissen, dass sie kritisch sein werden und so weiter. Mich interessieren auch die Unterschiede auf disziplinärer Ebene zwischen den Sozial-, Geistes- und STEM-Fächern im Hinblick auf Open Peer Review. Und warum das bedeuten könnte, dass wir tatsächlich unterschiedliche Formen von Peer Review für verschiedene Disziplinen benötigen. Generell möchte ich an Initiativen zur Förderung des Datenteilens von Verlagen mit Forschungscommunities arbeiten, damit wir zu einem stärker evidenzbasierten Ansatz für die Peer-Review-Forschung kommen.