"Es ist ein Umdenken in den Köpfen der Wissenschaftler notwendig"

Die Reproduzierbarkeit von Forschungsergebnissen gehört zu den grundlegenden Qualitätskriterien in der Wissenschaft. Die Forderung nach Transparenz des wissenschaftlichen Erkenntnisprozesses hat zum Ziel, die Wiederholbarkeit von wissenschaftlichen Studien oder Experimenten zu gewährleisten. Mit diesem Thema beschäftigt sich das Projekt „Opening Reproducible Research“ (o2r) des Instituts für Geoinformatik der Westfälischen Wilhelms-Universität Münster (WWU) und der dortigen Universitäts- und Landesbibliothek. Das Projektteam organisierte im Februar einen Workshop zum Thema Reproduzierbarkeit von Analysen, die auf Software und Daten basieren. Bei der Veranstaltung sprachen die Teilnehmerinnen und Teilnehmer disziplinübergreifend über die Herausforderungen der Reproduzierbarkeit durch digitale Forschung sowie den aktuellen Stand der Technik und der existierenden Infrastrukturen. In vier Gastbeiträgen schildern Wissenschaftler der WWU, wie das Thema Reproduzierbarkeit von Forschungsergebnissen in ihrem Bereich aussieht.

 

Ein langer Atem für mehr Reproduzierbarkeit in den raumbezogenen Wissenschaften
Von Daniel Nüst, Institut für Geoinformatik der WWU

In dem Projekt o2r (https://o2r.info) entwickeln wir neue Methoden, die den Wissenschaftlern helfen, eine höhere Reproduzierbarkeit ihrer Arbeiten zu erreichen. Wünschenswert wäre es, dass zukünftig nicht nur ein unveränderlicher Artikel in einer Zeitschrift abgedruckt wird, sondern, dass ein gesamtheitlicher Beitrag mit allen Daten und der genutzten Software veröffentlicht wird. Neben technischen Ansätzen ist ein Umdenken in den Köpfen der Wissenschaftler notwendig, sowohl bei der Bewertung wissenschaftlicher Erzeugnisse als auch bei der eigenen alltäglichen Arbeit. Diesen Kulturwandel zu erreichen, ist eine große Herausforderung für viele Wissenschaftsbereiche, weil ein langer Atem sowie effektive Kommunikation und Überzeugungsarbeit erforderlich sind. Ein wichtiger Baustein hierfür sind die Arbeiten von Dr. Markus Konkol, der den Stand der Reproduzierbarkeit in den Geowissenschaften untersucht hat. Dazu identifizierte er Artikel, bei denen Daten und Software zwar beschrieben waren, das Vorgehen und die Analysen jedoch nicht ausreichend erläutert wurden – somit war eine Wiederholung der Analysen vieler Arbeiten nicht möglich und die Schlussfolgerungen blieben zum Teil unbestätigt.

Neben dieser Ist-Analyse haben meine internationalen Kollegen und ich den Kulturwandel in der Geoinformatik-Community einleiten können. Bei der internationalen Konferenzreihe AGILE, organisiert von der „Association of Geographic Information Laboratories in Europe“, veranstalteten wir in den vergangenen Jahren Workshops zum Thema Reproduzierbarkeit, und auf der Konferenz wurden in diesem Jahr zum ersten Mal neue Richtlinien für reproduzierbare Artikel empfohlen (https://doi.org/10.17605/OSF.IO/CB7Z8). Die Workshops halfen nicht nur Geoinformatikern, ihre Fertigkeiten im Umgang mit Daten und Software zu erweitern, sondern lieferten auch die Grundlagen für praktikable und wirkungsvolle Richtlinien für Wissenschaftler, die mit raum-zeitlichen Daten arbeiten. Wir sind mit unseren bisherigen Bemühungen sehr zufrieden. Das bisherige Vorgehen liefert eine Blaupause für andere wissenschaftliche Disziplinen: Die Richtlinien umfassen mehrere Stufen und sind bewusst so angelegt, dass lobenswerte Bemühungen hervorgehoben werden, aber keine Arbeitsweise ausgeschlossen wird. So können etablierte Arbeitsabläufe zu mehr Transparenz und Reproduzierbarkeit weiterentwickelt und die führenden Wissenschaftler mit Aufmerksamkeit belohnt werden. Alle Materialien der Initiative für reproduzierbare Artikel sind unter offenen Lizenzen verfügbar, und ihre Anwendung wird hoffentlich die Qualität und Wiederverwendbarkeit von wissenschaftlichen Arbeiten erhöhen.

 

Unsicherheit bei der Frage: Wann sind Forschungsdaten sicher genug?
Von Nils Schuhmacher, Arbeitseinheit Entwicklungspsychologie der WWU

Für Forscherinnen und Forscher ist es wichtig, dass ihre Forschungsdaten sicher sind. Dazu zählt, dass sie vor unbefugten Zugriffen geschützt werden. Besonders sensible oder schützenswerte Daten liegen zum Beispiel dann vor, wenn Studienteilnehmer in Videos zu erkennen sind oder sehr persönliche Informationen mitteilen. Das betrifft unter anderem den Bereich der Kleinkindforschung, in dem ich arbeite. Allerdings sind sich Forscher häufig unsicher bei der Frage: Sind meine Forschungsdaten sicher genug gespeichert? Dieses Unsicherheitsgefühl kann fragwürdige Formen annehmen. So gibt es den Fall, dass Forschungsdaten ausschließlich auf Festplatten in massiven Tresoren aufbewahrt werden. In einem anderen Fall ist ein Mitarbeiter verstorben, der als einzige Person Zugriff auf die Forschungsdaten eines Projekts hatte. Damit waren die Ergebnisse von mehreren Jahren Forschungsarbeit gefährdet.

In vielen Studien werden die Forschungsdaten allerdings anonym erhoben oder nachträglich anonymisiert, das heißt die Daten werden so verändert, dass nicht mehr erkennbar ist, wer an der Studie teilgenommen hat. Das macht die Daten weniger „sensibel“. Aber auch hier gibt es aktuell Unsicherheiten, und viele Forscher fragen sich: Wann sind meine Daten ausreichend anonymisiert? Aufgrund dieses Unsicherheitsgefühl behalten Forscherinnen und Forscher ihre anonymisierten Forschungsdaten häufig lieber für sich, anstatt sie mit anderen zu teilen. Dieses Verhalten steht im Konflikt zu aktuellen Standards für gute Forschung, wie Transparenz und Wiederverwendbarkeit von Daten, wodurch zukünftige Forschungsprojekte viel Zeit und Geld sparen können. Mein Wunsch wäre es daher, ein technisches System zu haben, dass mich im Forschungsprozess unterstützt und mir bei der automatischen Speicherung und Anonymisierung von sensiblen Daten hilft. Dies könnte eine nützliche Plattform für viele verschiedene Disziplinen sein und Wissenschaftlerinnen und Wissenschaftlern der WWU eine Vorreiterrolle einbringen.

 

Von der Vertrauenskrise zur offenen Wissenschaft
Von Dr. Lisanne Pauw, Arbeitseinheit Paar- & Familienpsychologie der WWU

Ob durch den akademischen Betrugsfall von Diederik Stapel im Jahr 2011, Daryl Bams Artikel über außersinnliche Wahrnehmung oder ein vielleicht die ganze Zeit schlummerndes Problem – seit fast einem Jahrzehnt befindet sich die Psychologie in einer Vertrauenskrise. Die Realisierung vieler problematischer Forschungspraktiken haben diese Krise gefördert. Beispielsweise verließen sich Experimente oft auf zu wenige Teilnehmer, um verlässliche Schlussfolgerungen zu ziehen, Forscher berichteten von unerwarteten Ergebnissen, als ob sie von Anfang an vorhergesagt worden wären, und Zeitschriften fielen einer Publikationsverzerrung zum Opfer, die Papiere bevorzugt, die Unterstützung für ihre Hypothesen finden. Aber selbst wenn sie gute Absichten haben, müssen Wissenschaftler oft Entscheidungen treffen, zum Beispiel über die Methoden, mit denen sie ihre Daten analysieren und die ihre Ergebnisse grundlegend beeinflussen können. Obwohl diese Beobachtungen hochproblematisch sind, liegt der Vorteil dieses erhöhten Bewusstseins darin, dass es viele Wissenschaftler ermutigt, Methoden zur Lösung dieser Probleme zu entwickeln und umzusetzen. In den letzten zehn Jahren wurden viele Versuche unternommen, die Transparenz, Reproduzierbarkeit und Replizierbarkeit zu verbessern.

Der offene Austausch von Daten, Software und Analyseplänen wird von Universitäten und Zeitschriften stark gefördert. Es wurden viele Plattformen eingerichtet, die es den Menschen ermöglichen, ihre Studien und Analysepläne im Voraus zu registrieren (zum Beispiel Open Science Framework, https://osf.io/) und so die Verzerrung zugunsten vermeintlich erfolgreicherer Erkenntnisse zu reduzieren. Zeitschriften versuchen genau dies mit dem neuen Format "registrierte Berichte": Vor der Veröffentlichung der Studie wird diese auf Reproduzierbarkeit getestet, wobei die Qualität der Forschung über die Ergebnisse gestellt wird. Wird die Studie wie geplant durchgeführt, erfolgt die Veröffentlichung, auch wenn es keine überraschenden Ergebnisse gibt. Replikationsstudien werden durch neue Forschungsstipendien und spezielle Abschnitte in Zeitschriften gefördert.

Nachdem ich vor Kurzem meine Arbeit an der WWU aufgenommen habe, freue ich mich, dass der Fachbereich Psychologie an der WWU eine „Open Science Initiative“ gegründet hat (https://osf.io/x3s5c/). Ich habe an der Universität Amsterdam promoviert, wo die Psychologieabteilung aktiv die offene Wissenschaft unter den Mitarbeitern fördert und Studierende über gute (und schlechte) Forschungspraktiken unterrichtet, und ich freue mich darauf, diese Lehren mitzunehmen, um offene, transparente und zuverlässige Forschung an der WWU zu fördern.

 

Softwareentwicklung zur Erleichterung reproduzierbarer Forschung
Von Dr. Ben Stöver, AG für Evolution und Biodiversität der Pflanzen (Prof. Dr. Kai Müller)

Die Annotation von wissenschaftlichen Daten mit Metadaten ist ein unbeliebter, aber enorm wichtiger Arbeitsschritt für die Nachvollziehbarkeit von Forschungsarbeiten. Diese beschreiben die Informationen über Merkmale anderer Daten und dokumentieren, wie Rohdaten generiert und mit welchen Analyseschritten abgeleitete Daten daraus gewonnen wurden. Metadaten bieten eine effiziente Möglichkeit, die Reproduzierbarkeit wissenschaftlicher Studien zu verbessern. In der Biologie trifft dies zum Beispiel auf die Stammbäume von Arten, sogenannte phylogenetische Bäume, zu. Diese werden oft aus DNA-Sequenzen verschiedener Arten berechnet, die wiederum aus Gewebeproben von Belegen, zum Beispiel gesammelten Pflanzen, sequenziert werden. Idealerweise würde ein publizierter phylogenetischer Baum also Metadaten enthalten, die zu jeder Art einen konkreten archivierten Beleg und die daraus generierte Sequenz verknüpfen, und darüber hinaus die Analyseschritte und die jeweils verwendete Software dokumentieren, mit der die Verwandtschaftsverhältnisse rekonstruiert wurden. Dieses Prinzip der Annotation lässt sich auch auf andere Datentypen übertragen und kann in vielen Bereichen der Wissenschaft angewendet werden.

Obwohl bereits vor Jahren offene Dateiformate, zum Beispiel NeXML, entwickelt wurden, die eine entsprechende Annotation von Bäumen und anderen phylogenetischen Daten ermöglichen, ist deren Verwendung im Vergleich zu älteren Formaten, die dies nicht erlauben, aber von häufig genutzter Software unterstützt werden, relativ gering geblieben. Um das zu ändern, entwickeln wir in der Arbeitsgruppe für Evolution und Biodiversität der Pflanzen unter Leitung von Prof. Dr. Kai Müller eine Reihe unterschiedlicher Softwarekomponenten, die Wissenschaftlern die Verwendung der neuen Dateiformate und die notwendige Annotation so leicht wie möglich machen. Dabei wird gleichzeitig die Kompatibilität zu vorhandener Analysesoftware sicherstellt, auch wenn diese noch keine entsprechenden Formate unterstützt. Konkret entwickeln wir grafische Editoren für Biologen, mit denen die grundlegenden Datentypen in der Phylogenetik verarbeitet und leicht annotiert werden können. Darüber hinaus stellen wir Softwarebibliotheken zur leichten Wiederverwendung in anderer bioinformatischer Software bereit. Unsere Software ist unter http://bioinfweb.info/ frei verfügbar.