EDaWaX: Replizierbare Wirtschaftsforschung (k)eine Selbstverständlichkeit?!

Das von der Deutschen Forschungsgemeinschaft (DFG) geförderte Projekt European Data Watch Extended (EDaWaX) an der ZBW will Forschenden dabei helfen, die Ergebnisse wirtschaftswissenschaftlicher Forschung leichter prüfbar und reproduzierbar zu machen. Dazu entwickelt das Projekt unter anderem eine Software, die es den Herausgeberinnen und Herausgebern von Fachzeitschriften deutlich leichter macht, Datensätze und Auswertungsskripte zu managen, die Grundlage der in Artikeln publizierten Ergebnisse sind.

Wie wichtig dies ist, verdeutlicht beispielhaft eine wirtschaftspolitische Debatte im Kontext der so genannten Austeritätspolitik.

Die Debatte um Austeritätspolitik

Als im Jahr 2010 die beiden US Top-Ökonomen Carmen Reinhart und Kenneth Rogoff ihr Paper “Growth in a Time of Debt” erstmals publizierten, löste dies zahlreiche wissenschaftliche und politische Kontroversen aus: Legten deren Ergebnisse doch nahe, dass eine Staatsverschuldung von über 90% des Bruttoinlandsprodukts ein deutliches Schrumpfen des Wirtschaftswachstums der betroffenen Volkswirtschaften zur Folge hätte.

Diese Ergebnisse der Ökonomen passten gut in die politischen Diskussionen zu Beginn des Jahrzehnts: Sowohl der damalige Vize-Präsidentschaftskandidat der Republikaner Paul Ryan nahm in “The path to prosperity” wie auch der EU-Währungskommissar Olli Rehm in einem Schreiben an die ECOFIN Minister  Bezug auf die Ergebnisse der beiden Wirtschaftsforschenden. Auch Bundesfinanzminister Wolfgang Schäuble äußerte sich 2011 in einer Rede an den Bundestag. Legten die Ergebnisse doch nahe, dass wirtschaftliche Austeritätspolitik genau das passende Mittel sei, um den ökonomischen und fiskalischen Herausforderungen der Zeit gerecht zu werden.

Rogoff, Reinhart und der Excel Sheet

Im Jahr 2013 stellten Rogoff und Reinhard die Excel-Datei, in der die Daten und Berechnungswege ihrer wissenschaftlichen Untersuchung dokumentiert waren, einem Studierenden auf Nachfrage zur Verfügung. Bei genauerer Untersuchung fiel dem Studenten Thomas Herndon jedoch auf, dass die Excel-Tabelle Rechenfehler enthielt; in der anschließenden wissenschaftlichen Debatte wurde den beiden US-Ökonomen auch vorgeworfen, Daten selektiv ausgewählt zu haben. Zudem wurde die Studie methodisch kritisiert.

Dieses Beispiel zeigt, weshalb es gerade für eine Wissenschaftsdisziplin wie die Wirtschaftswissenschaften wichtig ist, belastbare und überprüfbare Ergebnisse zu produzieren: Schließlich basieren politische und gesellschaftliche Entscheidungen mit teils großer Reichweite auf den Ergebnissen von Wirtschaftsforschenden.

Replizierbare Forschung erleichtern

Die Nachprüfbarkeit, Reproduzierbarkeit und Replizierbarkeit publizierter wirtschaftswissenschaftlicher Forschung zu verbessern, ist daher Ziel des von der Deutschen Forschungsgemeinschaft (DFG) geförderten Projekts European Data Watch Extended (EDaWaX). Das Projekt hat es sich unter anderem zur Aufgabe gemacht, eine Software zu entwickeln, die das Management von verwendeten Forschungsdaten bei empirisch-basierten Artikeln für Fachzeitschriften erleichtert. Damit soll die Nachvollziehbarkeit von postulierten Ergebnissen der Wirtschaftsforschung unterstützt werden.

Richtlinien zum Umgang mit Forschungsdaten in Fachzeitschriften sind im Kommen

Teil des Projektauftrags von EDaWaX ist auch die Erstellung von Studien, die den aktuellen Stand der Implementierung von so genannten Data Policies bei Fachzeitschriften analysieren. Hier konnte festgestellt werden, dass derartige Richtlinien klar im Kommen sind: In einem Sample von 346 Fachzeitschriften verfügten immerhin 49 Journals über so genannte Data Availability Policies. Dies sind Richtlinien, die darauf abzielen, dass zum Beispiel verwendete Datensätze, Scripte und Beschreibungen der Daten vor der Publikation eines Artikels an die Zeitschrift übermittelt werden. Diese hängt sie im Regelfall als “Supplementary Information” an einen Artikel an. Eine ähnliche Untersuchung hatte vor zwei Jahren noch deutlich weniger Zeitschriften mit entsprechenden Richtlinien ermitteln können.

Data Sharing – eine Vorbedingung replizierbarer Forschung

Ein weiterer Schwerpunkt des DFG-geförderten Projekts liegt in der Evaluierung geeigneter Anreizinstrumente zur Förderung des Data Sharing. Besteht keine Bereitschaft, eigene Forschungsdaten zum Zwecke der Nachnutzung mit anderen Forschenden zu “teilen”, ist es nicht möglich, die Validität der postulierten Ergebnisse und der genutzten wissenschaftlichen Methoden zu prüfen. Auch daher sehen Forschungsorganisationen und Forschungsförderer bei diesem Thema Handlungsbedarf.

Die Absicht, Data Sharing zu betreiben, wurde von den Kooperationspartnern des Max-Planck-Instituts für Innovation und Wettbewerb mittels eines
ökonomischen Modells untersucht. Zudem wurde eine umfangreiche Auswertung der Data Sharing-Praktiken von 488 Wirtschaftsforschenden publiziert. Dazu wurden auch Empfehlungen formuliert, wie Data Sharing gesteigert werden kann.

Ziel des Projekts: Unterstützung von wirtschaftswissenschaftlichen Zeitschriften

Aufbauend auf den Analyseergebnissen wird im Projekt fortwährend an der Weiterentwicklung einer Software gearbeitet, die die Herausgeberinnen und Herausgeber beim Management dieser Forschungsdaten unterstützt. Über eine Webmaske oder über Programmierschnittstellen (APIs) ist die Nutzung der Applikation möglich. Vorteile dieser Lösung gegenüber dem reinen Anhängen solcher Daten an einen Artikel liegen darin, dass eigene Metadaten zu diesen wichtigen wissenschaftlichen Ressourcen erstellt werden. Diese können dann auch in Fachportalen gefunden und nachgenutzt werden und so die Sichtbarkeit des Forschungsoutputs erhöhen. Zudem erhalten die Daten in der Applikation einen so genannten persistenten Identifikator, mit dem die Daten stets uniform zitierbar sind. Forschende können somit auch durch bereitgestellte Datensätze Zitationen sammeln – ganz so, wie dies bei Artikeln der Fall ist.

Dieses Beispiel zeigt, dass Bibliotheken einen Beitrag dazu leisten können, wenn es darum geht, die Transparenz von Forschungsarbeiten zu erhöhen und die wissenschaftliche Zielgruppe mit nützlichen Tools zu unterstützen.