Erstes Open Science Retreat: zur Zukunft der Forschungsevaluierung

von Anna Maria Höfler, Isabella Peters, Guido Scherp, Doreen Siegfried und Klaus Tochtermann

Open Science deckt bekanntlich ein breites Spektrum an Themen ab. Die Umsetzung offener Praktiken ist dabei recht komplex und erfordert die Einbeziehung unterschiedlicher Interessengruppen, darunter Organisationen, die Forschung betreiben, Bibliotheken und Forschungsinfrastrukturen, Verlage und Service Provider sowie politische Entscheidungsträger:innen. Unter anderem sind die Vernetzung und ein regelmäßiger Austausch innerhalb und zwischen diesen Gruppen notwendig, um die Bemühungen für mehr Offenheit zu begleiten und zu unterstützen – und sie letztlich in eine gemeinsame und globale Bewegung zu überführen.

Deshalb hat die ZBW – Leibniz-Informationszentrum Wirtschaft jetzt das internationale “Open Science Retreat” als neues Online-Austausch- und Vernetzungsformat ins Leben gerufen, um aktuelle und globale Herausforderungen bei der Umsetzung von Open Science und die gemeinsame Vision eines Open-Science-Ökosystems zu diskutieren. Das Format richtet sich insbesondere an die oben genannten Interessengruppen.

Tweet vom ersten “Open Science Retreat”

Beim Open Science Retreat erhalten dabei rund 30 internationale Expert:innen aus den unterschiedlichen Interessengruppen die Möglichkeit, sich in zwei kompakten Sessions an zwei aufeinanderfolgenden Tagen in ein bestimmtes Thema zu vertiefen, ihre eigene Expertise und Erfahrung einzubringen und ihre Gedanken dazu festzuhalten. Das erste Open Science Retreat fand Ende Oktober 2021 statt und drehte sich um “Research Evaluation – Promoting the Open Science movement“ (auf Deutsch etwa: Forschungsevaluierung – Förderung der Open-Science Bewegung).

Vier Provokationen zur Evaluierung von Open Science

Zum Auftakt der Diskussion reflektierte Isabella Peters (ZBW) in einem Impulsvortrag, inwieweit offene Praktiken in der Forschungsevaluierung derzeit anerkannt sind. Dazu formulierte sie vier Provokationen:

Vier Provokationen zur Evaluierung von Open Science

1. Wir ertrinken in Open-Science-Metriken und -Indikatoren – aber wir verstehen nicht, was sie bedeuten. Es gibt eine Fülle von Ansätzen und Empfehlungen, wie Open Science zu bewerten ist und welche Indikatoren geeignet sind, um Open-Science-Praktiken zu beurteilen, um Open-Science-Karrieren zu bewerten und um den Fortschritt bei der großen Masse an offen zugänglichen Forschungsprodukten zu überwachen. Es gibt sogar bereits automatische Open-Science-Bewertungsinstrumente auf dem Markt. Es gibt eine gut ausgestattete Reihe von Open-Science-Indikatoren und -Metriken, die verwendet werden können, um quantitative Zusammenfassungen über die Forschungslandschaft und Open Science zu erstellen. Allerdings mangelt es eindeutig an der Kontextualisierung dieser Messgrößen und am Verständnis dafür, was die Indikatoren anzeigen und was sie für die Forschungsgemeinschaft wirklich bedeuten.
2. Wir ertrinken in Leitlinien zur Verwendung von Open-Science-Metriken und -Indikatoren – aber wir wissen nicht, wofür wir sie verwenden sollen. Es gibt einen riesigen Blumenstrauß an Leitlinien und Empfehlungen, wie man Open-Science-Indikatoren in der Praxis einsetzen kann. In allen wird erörtert, unter welchen Umständen Metriken und Indikatoren nützliche Instrumente sind und wann sie sinnvolle Erkenntnisse liefern können. Und alle nennen die Umstände, unter denen Indikatoren nicht die richtigen Werkzeuge sind, zum Beispiel, wenn sie nicht verantwortungsvoll eingesetzt werden. Der Schlüssel für einen verantwortungsvollen Einsatz ist die Abstimmung der Ziele und des Kontexts der Evaluation mit den geeigneten Indikatoren. In Bezug auf Open Science oder die Förderung von Open Science sind oft weder die Ziele noch die strategische Vorgehensweise klar.
3. Wir können aufhören, Open Science zu fördern, sobald 100 % der Forschungsergebnisse offen sind – wenn wir glauben, dass es dann nichts mehr zu erreichen gibt. Wenn wir Open Science als Forschungsergebnisse verstehen, die offen zugänglich gemacht werden, kann die Open-Science-Reise mit den richtigen Anreizen, z. B. Finanzierung, früher enden als gedacht. Oft werden jedoch mehr und andere Merkmale mit Offenheit in Verbindung gebracht, z. B. die Reproduzierbarkeit oder die Glaubwürdigkeit der Wissenschaft, von der man meint, dass sie durch Open-Science-Praktiken erhöht wird. Diese Ziele von Open Science werden von den meisten der vorgeschlagenen Open-Science-Indikatoren noch nicht angesprochen. Es fehlt eine von der Community geführte Diskussion darüber, welche Ziele mit Open Science tatsächlich erreicht werden sollen.
4. Mach alles oder lass es bleiben: Open Science überfordert Forscher:innen. Manchmal scheint es, als gäbe es bei Open Science nur alles oder nichts – zumindest wird nur ALLES belohnt – die anderen müssen sich rechtfertigen. Wer ist überhaupt ein:e gute:r Open-Science-Forscher:in – wer ist ein Open-Science-Champion? Ist es nur der:diejenige Forschende, der:die bei allen vorgeschlagenen Open-Science-Indikatoren 100 % oder hohe Werte erreicht? Die Propagierung des Alles-oder-Nichts-Prinzips könnte kontraproduktiv sein. Für viele Forschende wirkt es abschreckend, weil es für sie weder praktisch noch möglich ist, alles zu tun und überall 100 % bei jedem Indikator anzustreben. Deswegen fangen sie gar nicht erst an, Open-Science-Praktiken anzuwenden.

Open Science und Forschungsevaluierung: Was haben wir (nicht) gelernt?

Diesen Impuls aufgreifend, wurden die Teilnehmer:innen am ersten Tag in zwei Arbeitsgruppen aufgeteilt, um die letzten zehn Jahre Open Science zu reflektieren und die Frage zu diskutieren: Was wissen wir bereits über Open Science und Forschungsevaluierung und was wissen wir noch nicht?

Ein Ergebnis der Diskussion war, dass, auch wenn Open Science viel Aufmerksamkeit bekommen hat und die dazugehörigen allgemeinen Werte in Bezug auf die Integrität der Forschung und die gute wissenschaftliche Praxis weitgehend akzeptiert werden, der Begriff und seine Umsetzung für viele immer noch unklar zu sein scheinen (mit der Gefahr des “open washing”). Es fehlt immer noch eine kohärente Definition und ein einheitliches Verständnis dessen, was Open Science ist. Und was sind die Ziele und Erwartungen, und folglich: Was soll gemessen werden, warum und für wen (cui bono?)? Dies steht im Zusammenhang mit der allgemeinen Frage: Woran bemisst sich Forschungsqualität und wann hat Forschung eine gute Qualität? Folglich dauert der erforderliche Wandel der Forschungskultur länger als nötig. Und es scheint sinnvoll, mehr mit denjenigen zu sprechen, die keinen Sinn in Open-Science-Praktiken sehen. Ihre Gründe gegen Open Science könnten weitere Erkenntnisse liefern, um die letzten Hindernisse zu beseitigen.

Die Teilnehmer:innen diskutierten auch die Rolle von Metriken. Open Science und die entsprechenden Metriken erfordern einen fach- und disziplinspezifischen Konsens. Ein gemeinsamer Satz von Metriken für alle wissenschaftlichen Disziplinen hat sich nicht als realistisch erwiesen. Metriken, die auf bestimmte Disziplinen und Bedürfnisse zugeschnitten sind, können ein guter, wenn auch anfangs kleiner Ausgangspunkt sein, um offene Praktiken voranzutreiben. Eine Lehre aus der (zitationsbasierten) Bibliometrie (in der wir irgendwie gefangen sind) ist, dass die Anwendung von Metriken eher auf institutioneller und Gruppenebene als auf der Ebene einzelner Forscher:innen als erfolgreicher Weg zur Förderung offener Praktiken und eines Kulturwandels angesehen wird. Auf diese Weise lassen sich auch Open-Science-Merkmale wie Kollaboration besser messen. Und neben der Messung von Forschungsergebnissen oder -produkten sollten natürlich auch prozedurale Kriterien (Methodik) und weitere Formen von Beiträgen (einschließlich negativer Ergebnisse) bewertet werden. Letztlich fehlt es aber immer noch an Indikatoren, um die Qualität von Forschung zu bewerten – eine Herausforderung, der sich auch die traditionellen Metriken der “geschlossenen Wissenschaft” stellen.

Schließlich ist ein weiteres Ergebnis der Diskussion, dass die Finanzierung von Open Science, insbesondere in der Übergangsphase, noch unklar ist. Ein Modell für die nachhaltige Finanzierung von Open Science und seine Integration in die reguläre Forschungsförderung ist ein noch offener Punkt. In diesem Zusammenhang ist dies auch eine Frage der Gleichberechtigung beim Zugang zu Open Science als öffentliches Allgemeingut, wie es in der UNESCO-Empfehlung zu Open Science angesprochen wird.

Vision: Wie könnte eine Open-Science-Welt in zehn Jahren aussehen?

Am zweiten Tag des Open Science Retreats wurden die Teilnehmer:innen erneut in zwei Arbeitsgruppen aufgeteilt. Sie wurden gebeten, eine Vision zu entwickeln, wie ein Open-Science-Ökosystem in zehn Jahren aussehen würde, wenn die Forschungsevaluierung bei der Förderung offener Praktiken erfolgreich gewesen ist. Die Diskussionen drehten sich um die folgenden Themen, die alle mit einem Umdenken einhergehen müssen.

Arten von Publikationen: Es wird eine Tendenz zu “Mikroveröffentlichungen” geben (d. h. Informationen werden geteilt, sobald sie verfügbar sind), und daher sollten maschinengestützte Ansätze zur Bewertung dieser Mikroveröffentlichungen angewendet werden. Allerdings könnte eine Differenzierung für die verschiedenen wissenschaftlichen Disziplinen erforderlich sein.

Zuschreibung zu Autor:innen vs. Institutionen: Publikationen sollten eher Institutionen als Einzelpersonen zugeordnet werden, und es sind entsprechende Mechanismen erforderlich, um die einzelnen Beiträge eindeutig zuzuweisen/anzurechnen. “Negative” Ergebnisse sollten ganz selbstverständlich als Beitrag zur Wissenschaft veröffentlicht werden. Außerdem sollte die Rolle von Gutachter:innen als Beitrag zur Verbesserung der wissenschaftlichen Arbeit gewürdigt werden.

Tweet #OpenScienceRetreat

Verschiebung der Rollen der Beteiligten: Um die Transparenz zu erhöhen, sollten neue Formen von Publikationsprozessen und ein separater Review-Prozess angewendet werden. Und die Frage sollte geklärt werden: Wollen wir, dass Geldgeber:innen in den Evaluierungs- und Review-Prozess einbezogen werden (unabhängig von der Reputation)? Es besteht die Gefahr, dass einer:einem Akteur:in (z. B. den Geldgeber:innen) zu viel Macht zugestanden wird. Daher müssen Mechanismen zur „Kontrolle und Ausbalancierung“ durch ein zukünftiges Open-Science-Ökosystem gesteuert werden.

Richtlinien für die Evaluierung von Forschung: Sie sollten offen und FAIR sein, ausgehend von der Frage: Wer soll was in welchem Zeitrahmen teilen? Daher müssen Instrumente vorhanden sein, um zu bewerten, ob diese Richtlinien FAIR- und Transparenzkriterien erfüllen (z. B. gibt es derzeit keine Versionskontrolle für Dokumente, keine DOI für Ausschreibungen usw.).

Abschließend wurde jede:r Teilnehmer:in gebeten, ihre:seine eigene Vision einer zukünftigen Open-Science-Welt so prägnant wie möglich in Form und Länge eines “Tweets” zu formulieren. Eine Abstimmung ergab die folgenden Top-Aspekte für diese Vision:

• In den zehn Jahren ist die gemeinsame Nutzung von Daten und Software zu einem wesentlichen Bestandteil der guten wissenschaftlichen Praxis geworden. Eine verantwortungsvolle Datenverwaltung zur Gewährleistung der Datenqualität ist von Anfang an Teil des Lehrplans für Studierende.
• Eine effiziente Infrastruktur für die Verwaltung von Forschungsdaten mit Werkzeugen und Unterstützung ist für alle verfügbar. Angemessene Finanzmittel werden bereitgestellt, um die Aufwendungen für Open Science abzudecken.
• Daten- und Softwareveröffentlichungen sind zu “vollwertigen Bürger:innen” in der Welt der Publikationen geworden und tragen zum Ansehen der Forschenden bei.
• Die Reproduzierbarkeit von Forschungsergebnissen ist erreicht.
• Die Veröffentlichung negativer Ergebnisse wird zur Normalität, Forschende werden nicht dafür abgestraft.
• Personen und offene Infrastrukturen werden finanziert, nicht Projekte. Sie werden auf der Grundlage ihrer bisherigen Leistungen bewertet.
• Da die Forschung offen ist, wird sie in vollem Umfang von externen Stellen evaluiert, wodurch interne politische Mechanismen entfallen.
• Der Begriff “Open Science” gehört der Vergangenheit an, da sich die Forschung in der Wissenschaft und in anderen Bereichen so weit geöffnet hat, dass die Unterscheidung zwischen offen und geschlossen nur noch dann notwendig ist, wenn es gute Gründe gegen eine Offenlegung gibt, aber dann werden diese Gründe zumindest offen und FAIR weitergegeben.

“Save the date” für die nächsten Open Science Retreats

Die Diskussionen waren natürlich viel umfangreicher und komplexer, als hier dargestellt werden kann. Und die Teilnehmer:innen haben selbst sehr viel dokumentiert. Alle Tweets und mehr können in anonymisierter Form in dem entsprechenden kollaborativen Pad nachgelesen werden.

Sie sind ein:e Open-Science-Befürworter:in und möchten Ihre Erfahrungen und Ideen mit einer Gruppe von 30 gleichgesinnten internationalen Open-Science-Enthusiast:innen aus ganz unterschiedlichen Bereichen austauschen? Die Termine und Themen für die nächsten beiden Retreats, die beide online stattfinden werden, stehen bereits fest:

• 15/16 Februar 2022: “Sustainable and reliable Open Science Infrastructures and Tools” (auf Deutsch etwa: Nachhaltige und zuverlässige Open-Science-Infrastrukturen und –Tools)
• 14/15 Juni 2022: „Economic actors in the context of Open Science – The role of the private sector in the field of Open Science“ (auf Deutsch etwa: Wirtschaftsakteur:innen im Kontext von Open Science – Die Rolle des Privatsektors im Bereich Open Science)

Das könnte sie auch interessieren: