Open Science Symposium: Offene Praktiken und Transparenz in den Wirtschaftswissenschaften

von Guido Scherp

Am 27. April 2023 hatte die ZBW – Leibniz-Informationszentrum Wirtschaft Wirtschaftsforschende nach Berlin eingeladen, um sich einen Tag lang über offene Praktiken in den Wirtschaftswissenschaften auszutauschen. Vormittags zu einem Meet-Up und nachmittags zu einem Symposium zum Thema „Open Science – Forschungstransparenz in den Wirtschaftswissenschaften“. Mit beiden Formaten engagiert sich die ZBW für die Schaffung eines Diskussions- und Vernetzungsraums zum Thema Forschungstransparenz für Wirtschaftsforschende.

Das Symposium widmete sich insbesondere den Themen Reproduzierbarkeit und Replikation. Zu diesen Themen wurden vier nationale und internationale Wirtschaftsforschende eingeladen, ihre Erfahrungen mit offenen Praktiken und damit verbundene Denkanstöße zu teilen. Moderiert wurde die Veranstaltung durch Marianne Saam, Professorin für VWL, insbesondere Digitale Wirtschaftswissenschaft, am Fachbereich Sozialökonomie der Universität Hamburg und Leitung des Programmbereichs “Open Economics” an der ZBW.

Ein offener und kollaborativer Ansatz lohnt sich

Melanie Schienle, Professorin für Statistische Methoden und Ökonometrie am Karlsruhe Institute of Technology, stellte in ihrem Vortrag “Transparente kollaborative Forecasts und Nowcasts in Echtzeit” den Covid19-Nowcasthub vor.

Dabei handelt es sich um eine Plattform zur Vorhersage (Forecast = 4 Wochen, Nowcast = Schätzung Jetzt-Zustand) der Hospitalisierungsinzidenz, der ein kollaborativer und kombinatorischer Ansatz zugrunde liegt. Zur Verbesserung der Vorhersagequalität wurden mehrere Modelle verschiedener Teams über einen standardisierten Rahmen kombiniert und ein offener, kollaborativer Raum zum Austausch für die Beteiligten geschaffen. Gemeinsam wurden die Prognosequalität und Kombination der einzelnen Vorhersagemodelle bewertet, evaluiert und interpretiert. Auch wurde versucht, die bei Vorhersagen immer vorhandene Unsicherheit zu quantifizieren. Interessanterweise schnitt dabei die Qualität der aus den verschiedenen Modellen kombinierten Prognose insgesamt besser als die Einzelprognosen ab. Die Vorhersagedaten sowie die Nowcast-Modelle liegen offen auf GitHub. Die Studien zur Bewertung der Vorhersagemodelle beziehungsweise deren Kombination wurden präregistriert. Neben der Qualitätssicherung diene diese Form der Transparenz und Zusammenarbeit natürlich auch der Förderung des Vertrauens in die Ergebnisse, so Schienle.

Durch Nachnutzung entfaltet Open Science ihren wahren Impact

Joachim Gassen, Professor für Rechnungslegung und Wirtschaftsprüfung an der Humboldt-Universität zu Berlin, teilte in seinem Beitrag “Making Open Science Matter: Wie können wir die Wiederverwendbarkeit und Wirkung von Forschung steigern?” (PDF) seine Open-Science-Erfahrungen aus dem “Open Science Data Center”.

Dieses entstand im Rahmen des von der DFG geförderten Sonderforschungsbereichs “Accounting for Transparency”. Auf dem Weg zu Open Science sieht Gassen grundsätzlich noch etliche zu überwindende Hürden. Auf der einen Seite fehlendes Knowhow, Angst vor Fehlern, überhöhte Ansprüche, aber auch offene Fragen der Lizenzierung und des Datenschutzes. Auf der anderen Seite gäbe es ein großes Interesse an wiederverwendbaren Daten und Werkzeugen, dem mangelnde Interoperabilität und schwer auffindbare Inhalte im Wege stünden. Dabei stehe aber auch die Frage nach dem Impact von Open Science im Raum beziehungsweise die Frage danach, was man mit Open Science erreichen möchte. Wirklicher Impact von Open Science, so Gassen, werde letztlich dort entfaltet, wo andere auf den Ergebnissen und Methoden bisheriger Forschung aufbauen können. Ein wichtiges, aber leider schwieriges Thema sei dabei die Anerkennung entsprechender Leistungen bei Karriereentscheidungen.

Transparenz und Reproduzierbarkeit enden nicht mit der Veröffentlichung

Dr. Lars Vilhuber, Data Editor der American Economic Association (AEA), reflektierte in seinem Vortrag “Kontinuierliche Transparenz und Reproduzierbarkeit bei akademischen Publikationen: Ansätze und Techniken” die Erfahrungen der seit 2019 geltenden “Data and Code Availability Policy” der AEA.

Mit dieser Policy müssen Autor:innen bei einer Einreichung bei den Journals der Association sogenannte “Replication Packages” bereitstellen. Ein Replication Package sollte die einer Veröffentlichung zugrundeliegenden Daten und Code enthalten beziehungsweise referenzieren sowie die Laufzeitumgebung ausreichend beschreiben. Auf dieser Basis kann das Team von Vilhuber Reproduzierbarkeitchecks durchführen, mit dem Ziel, rechnerisch identische Ergebnisse (“computational reproducibility”) zu erhalten. Seit 2019 sind so 1.500 Publikationen überprüft worden. Vilhuber weist dabei aber auf Einschränkungen hin. So wird nicht auf Programmierfehler geprüft, oder komplexe Rechnerumgebungen können die rechnerische Reproduzierbarkeit erschweren oder gar unmöglich machen. Auch wenn es heute teilweise schwer zu erreichen sei, müsse im Sinne der Transparenz ein allumfassendes Replication Package das Ziel sein. Bei dessen Erstellung müssen Autor:innen auch aus der Perspektive der Reviewer denken, etwa was diese für die Durchführung einer Reproduktion benötigen (“computational empathy”), so Vilhuber. Und Transparenz und Reproduzierbarkeit seien mit der Journal-Publikation nicht abgeschlossen, man müsse sich von dem Konzept der finalen Publikation verabschieden. Beispielsweise können aufbauende Replikationen folgen, unter anderem in Form von Replication Games. Vilhuber betonte zudem, dass die Durchführung von Reproduktionen beziehungsweise Replikationen in der akademischen Ausbildung besser verankert sein müsse.

Selbstreflexion muss Teil wirtschaftswissenschaftlicher Arbeit werden

Im letzten Vortrag “Die Wirtschaftswissenschaften brauchen Selbstreflektion: Sind Transparenzstandards genug?” (PDF) setzte sich Professor Jörg Ankel-Peters vom RWI – Leibniz-Institut für Wirtschaftsforschung und Gründungsmitglied des Institute for Replication mit der Belastbarkeit der modernen empirischen Wirtschaftswissenschaften auseinander.

Grundsätzlich seien große Fortschritte bei der Umsetzung von Forschungstransparenz erzielt worden, so Ankel-Peters, beispielsweise im Bereich von Data und Code Sharing sowie bei der Präspezifizierung. Aber der Weg sei mit der Schaffung von Transparenzstandards noch nicht zu Ende. Es fehle in den Wirtschaftswissenschaften eine Kultur der Meta-Analyse (wie lässt sich alles zu einem konsolidierten, generalisierten Bild zusammensetzen) und des organisierten Skeptizismus (methodische Hinterfragung publizierter Ergebnisse). Insofern gäbe es Anzeichen einer “Replikationskrise” in den Wirtschaftswissenschaften, so Ankel-Peters. Hieran knüpfte er die Frage, wozu Wirtschaftsforschende eigentlich replizieren, und brachte das Konzept der “policing replications” ins Spiel. Eine “policing replication” ist eine Replikation, die ein vorher publiziertes Papier direkt adressiert und “herausfordert”. Dies könne eine “regulierende Wirkung” haben, so Ankel-Peters. Der Anteil der “policing replications” bei veröffentlichten Replikationen sei mit 1-3 % allerdings sehr gering. Und diese Art der Replikation sei nicht unproblematisch, da sie zum einen aufwändig und zum anderen sozial und kulturell hochgradig sensibel sei. Dennoch forderte Ankel-Peters, dass kritische Selbstreflexion zum Teil wirtschaftswissenschaftlicher Arbeit werden müsse.

Diskurs zu offenen Praktiken in den Wirtschaftswissenschaften fortsetzen

In den Vorträgen wurde deutlich, dass Wirtschaftsforschende gegenwärtig durchaus eine Weiterentwicklung der Forschungstransparenz in den Wirtschaftswissenschaften wahrnehmen. Die vorgestellten Beispiele zeigen, wie offene Praktiken zunehmend verankert werden. In der anschließenden Diskussion wurde aber auch deutlich, dass die Reise noch nicht zu Ende sei und der Diskurs fortgesetzt werden müsse, beispielsweise darüber, was mit der Schaffung von Transparenz erzielt werden soll. Sollten etwa mehr Kollaboration und Nachnutzung zu erreichen, systematische Qualitätssicherung durch Reproduzierbarkeitstandards zu betreiben oder gezieltes Einsetzen von Replikationen im Vordergrund stehen? In diesen Zusammenhang gehöre auch eine Änderung der Arbeitskultur, zum Beispiel die Entwicklung einer anderen Fehlerkultur, sowie die systematische Vermittlung von notwendigen Skills. Passend dazu haben sich bereits im Meet-Up zwei Gruppen gebildet, um die Themen “Anreize, Kultur, Konfliktbereitschaft” sowie “Education” weiterzuentwickeln.

Das könnte Sie auch interessieren:

• Veranstaltungsseite mit Links zu Präsentationen und einer Fotoauswahl
• Open Science Meet-Up: Gemeinsam die Zukunft erarbeiten
• Open Science in den Wirtschaftswissenschaften: Ausgewählte Ergebnisse der ZBW-Bekanntheitsanalyse 2022
• Barcamp Open Science 2022: Communities vernetzen und stärken