Die Forschung in den Bereichen Wirtschaft und Management zielt darauf ab, nachvollziehbare und glaubwürdige Ergebnisse zu liefern, auf die sich die Verantwortlichen in Wirtschaft und Politik bei ihren Entscheidungen stützen können. Doch inwieweit können wir wissenschaftlichen Ergebnissen wirklich vertrauen? Die Antwort hängt davon ab, ob diese Ergebnisse transparent dokumentiert sind (Reproduzierbarkeit) und ob sie allgemein anwendbar sind (Replizierbarkeit). Während die Replizierbarkeit letztlich eine empirische Frage ist, die in weiteren Studien untersucht werden muss, ist Reproduzierbarkeit eine Frage der wissenschaftlichen Sorgfalt – und bildet die Grundlage für die Replizierbarkeit.

In unserem jüngsten Artikel, Reproduzierbarkeit in der Managementwissenschaft, haben wir uns dieses Thema genauer angesehen. Wir schätzen zum ersten Mal die Reproduzierbarkeit eines breiten Spektrums von fast 500 Studien in Management Science, einer führenden akademischen Zeitschrift für Managementwissenschaften.

Um die Überprüfung wissenschaftlicher Ergebnisse zu ermöglichen, hat Management Science 2019 eine Richtlinie eingeführt, die Autoren verpflichtet, ihre Studienmaterialien (d. h. ihre Daten, ihren Code und alle anderen Informationen, die für empirische und rechnerische Analysen benötigt wird) zu veröffentlichen. Im Rahmen des Management Science Reproducibility Project haben wir gemeinsam mit einer Community von mehr als 700 Expert*innen eine repräsentative Stichprobe von Artikeln untersucht, die vor und nach der Einführung dieser neuen Richtlinie veröffentlicht wurden. Die Ergebnisse dieses Projekts zeigen die Bedeutung von offenen Daten in der Wissenschaft und ermöglichen es uns, Vorschläge zu machen, um die Zuverlässigkeit von Forschungsergebnissen weiter zu erhöhen.

Betrachten wir zuerst die Ausgangssituation vor der Einführung der neuen Richtlinie, als die Bereitstellung von Code und Daten noch freiwillig war: Da bei 88 % der Artikel die für die Reproduktion der Studienergebnisse erforderlichen Materialien nicht zur Verfügung standen, konnten nur 7 % der 332 Studien reproduziert werden (siehe Feld (a) in Abbildung 1). Bei den 40 Studien, für die die Autoren freiwillig Informationen zur Verfügung stellten, liegt die Reproduktionsrate bei 55 % (siehe Feld (b) in Abbildung 1).

In unserer Stichprobe von 419 Studien, die seit der Einführung der Richtlinie und bis Januar 2023 veröffentlicht wurden, beobachten wir eine bemerkenswerte Verbesserung: Die Reproduzierbarkeit stieg auf fast 68 % (siehe Feld (c) in Abbildung 1). Wenn darüber hinaus alle Daten zur Verfügung standen und sie die Soft- und Hardware-Anforderungen erfüllen konnten, konnten sogar 95 % der Artikel reproduziert werden (siehe Feld (d) in Abbildung 1).

Diese Ergebnisse zeigen, dass die größte Herausforderung seit Einführung der Offenlegungsrichtlinie der Zugang zu Daten ist. Für eine beträchtliche Anzahl von Studien in unserer Stichprobe standen den Bewertern keinerlei Daten zur Verfügung: Manche Datensätze waren womöglich von Geheimhaltungsverträgen betroffen, andere waren aus Datenschutzgründen nicht verfügbar oder stammten aus Abonnementdatenbanken oder anderen kommerziellen Quellen, zu denen die Begutachter*innen keinen Zugang hatten.

Unsere Ergebnisse unterstreichen, wie wichtig Richtlinien zur Offenlegung von Daten und Code in wissenschaftlichen Zeitschriften sind. Sie scheinen nicht nur mit einer wesentlich höheren Reproduzierbarkeitsrate verbunden zu sein, sondern fördern auch eine Kultur der Offenheit und Integrität im wissenschaftlichen Publikationswesen. Damit sind solche Richtlinien sind eine wesentliche Voraussetzung für zuverlässigr und vertrauenswürdige Forschungsergebnisse, die wiederum fundierte Entscheidungen in der Praxis ermöglichen.

Welche weiteren Schritte können nun unternommen werden, um die Reproduzierbarkeit weiter zu erhöhen? An erster Stelle steht die weitere Erleichterung der Datenverfügbarkeit durch verschiedene Maßnahmen, wie z. B. Vereinbarungen mit Abo-Datenbanken für den Datenzugang oder die Bereitstellung von Daten über spezialisierte Infrastruktur, die die Nutzung auf wissenschaftliche Zwecke beschränkt. Zweitens braucht es eine weitere Verfeinerung der Prüfverfahren für Code und Daten. Dazu könnte gehören, dass die Überprüfung von Code und Daten als wesentlicher Schritt in den Prozess der Manuskriptüberprüfung bei wissenschaftlichen Zeitschriften integriert wird. Drittens: die weitere Professionalisierung, wenn es um die Überprüfung von Code und Daten geht – entweder intern bei den Zeitschriften und Verlagen oder durch die Übertragung der Reproduzierbarkeitszertifizierung an externe Agenturen.

Solche institutionellen Reformen sind zusammen mit einem wachsenden Bewusstsein der gesamten akademischen Gemeinschaft der Schlüssel zur mehr Robustheit und Zuverlässigkeit der in akademischen Fachzeitschriften veröffentlichten Ergebnisse. Management Science hathier bereits einen weiten Weg zurückgelegt. Dieser Weg muss jedoch noch weiter beschritten werden – und zwar mit ausreichenden Mitteln, die von den Herausgebern zur Verfügung gestellt werden müssen, um die Reproduzierbarkeit auf 100 % zu bringen.

Reproduzierbarkeit ist ein wesentliches Merkmal zuverlässiger Forschungsergebnisse, sie ist aber kein Garant für Replizierbarkeit. Das heißt: Sie bedeutet nicht, dass die Wiederholung einer Studie – in einem anderen Kontext, mit anderen Daten, Analysen oder Forschungsdesigns – zu denselben Ergebnissen und Schlussfolgerungen führen wird. Die Reproduzierbarkeit legt jedoch den Grundstein. Nur so sind Replikationsversuche und Robustheitsprüfungen möglich, die zu belastbaren und glaubwürdigen wissenschaftlichen Erkenntnissen führen.

Detaillierte Studienergebnisse und weiterführende Informationen

Fišar, M., Greiner, B., Huber, C., Katok, E., Ozkes, A., & Management Science Reproducibility Collaboration (Angenommen/Im Druck). Reproducibility in Management Science. Management Science.
Link zur Studie