Anfang des Jahres las ich im US-Magazin vox.com einen Bericht über die Leipziger Forscherin Julia Rohrer. Brian Resnik schrieb darin, sie wolle einen radikal neuen Ansatz zum Umgang mit Fehlern in der Wissenschaft etablieren. Denn Julia Rohrer hat mit einigen Kolleg*innen das Projekt Loss of Confidence ins Leben gerufen – in dem es um Ungewissheit in der Wissenschaft geht. Als Shruggie-Autor fand ich das so spannend, dass ich Julia Rohrer einige Fragen zu dem Projekt mailte, bei dem Wissenschaftler*innen noch bis 31. Januar Einsendungen tätigen können. (Unsicherheit-Symbolbild: Unsplash)
Wir leben in einer Zeit der Unsicherheit, man hat das Gefühl, Menschen suchen mehr als je nach Gewissheit. Warum starten Sie genau einer solchen Zeit so ein Projekt?
Wir als Forscherinnen und Forscher streben natürlich danach, robuste Einsichten und Erklärungen zu generieren. Insofern ist Gewissheit natürlich eines unserer Ziele, aber der Weg dorthin ist voller Unsicherheiten: Messen wir tatsächlich das, was uns interessiert? Lassen sich die beobachteten Zusammenhänge nicht auch auf Alternativerklärungen zurückführen? Haben unsere Methoden systematische Probleme, die verhindern, dass wir die richtigen Antworten finden? Dieses kritische Hinterfragen ist ein wichtiges Werkzeug, damit man sich nicht selbst zum Narren macht.
Daran soll das Projekt erinnern?
In den letzten Jahren hat sich in der Psychologie die sogennante Replikationskrise entfaltet. Beispielsweise sieht es so aus, als würde die Wiederholung des möglichst exakt gleichen Experiments in vielen Fällen andere Ergebnisse liefern — das hat doch einige Leute eher überrascht. Wir haben eine Forschungskultur aufgebaut, in der Forschungsergebnisse, die mit großer Gewissheit präsentiert werden, höher geschätzt werden. So langsam lernen wir, dass das die falschen Anreize für die Wissenschaft setzt: Forscher werden belohnt, wenn sie die vielen Unsicherheiten des wissenschaftlichen Prozesses einfach verschweigen oder wenn sie sich selbst davon überzeugen, dass ihre Ergebnisse wasserdicht sind. Solche Angewohnheiten machen es schwerer, Fehler zu korrigieren oder aus ihnen zu lernen. So zu tun, als wären wir uns mit allem immer ganz sicher und hätten eh immer Recht kann also den unangenehmen Nebeneffekt haben, dass wir am Ende weniger wissen (und nicht mal merken, wenn wir daneben liegen).
Die Idee des Loss-of-Confidence Projects ist es, dagegen zu steuern. Wir möchten Ungewissheit und einen offenen Umgang mit Fehlern normalisieren.
Warum ist es wichtig, Unsicherheiten öffentlich anzusprechen?
Für mich gibt es mehrere Gründe, warum gerade Wissenschaftler und andere Personen, die Wissenschaft kommunizieren, in der Pflicht stehen, auch die Unsicherheit in den Ergebnissen öffentlich anzusprechen.
Erstens ist es nach meinem Verständnis schlicht und ergreifend Teil des Jobs: Forschung wird oft öffentlich finanziert, und damit entsteht eine Verpflichtung, die Öffentlichkeit angemessen zu informieren — und wenn man vor allem neuere wissenschaftliche Ergebnisse präsentiert, dann gehört da praktisch immer eine gewisse Unsicherheit dazu.
Und der zweite Grund?
Zweitens sehe ich auch durchaus, dass eine übermäßig enthusiastische und unkritische Darstellung von Forschungsergebnissen auch langfristig negative Folgen haben kann. Das klassische Beispiel dafür sind bestimmte Bereiche der Ernährungswissenschaften, die oft viel Medienaufmerksamkeit bekommen – nur leider widersprechen sich die Ergebnisse. Den einen Monat schützt Kaffee vor Krebs, den nächsten Monat verursacht Kaffee Krebs. Zumindest mir scheint es plausibel, dass manche Leute da auf die Idee kommen, dass Forscher sich ja eh nicht einigen können und man sie deswegen auch getrost ignorieren kann. Das hat das Risiko, dass gut fundierte wissenschaftliche Empfehlungen ignoriert werden. Dabei gibt es ja bei einigen Themen einen soliden wissenschaftlichen Konsens! Unsicherheiten kommen in unterschiedlichen Ausprägungen vor und wir müssen sicherstellen, dass das angemessen kommuniziert wird.
Wen wollen Sie mit Ihrem Projekt ansprechen?
In unserem Projekten bitten wir im Moment explizit nur um Einreichungen aus der Psychologie. Das liegt schlicht und ergreifend daran, dass wir in dem Bereich die Expertise haben, um die eingereichten Statements richtig einschätzen zu können. Da aber die zugrundeliegende Frage – wie gehen wir damit um, wenn Wissenschaftler selbst ihren eigenen Ergebnissen nicht mehr trauen? – auch andere Felder betrifft, hoffen wir, dass das Projekt auch für Nicht-Psychologen interessant ist.
Haben Sie bereits Einsendung erhalten? Wovon handeln diese?
In der aktuellen Version des Manuskriptes finden sich sechs Einsendungen; nachdem wir es online gestellt hatten haben wir aber noch ein paar weitere erhalten. Die Einsendungen kommen aus ganz unterschiedlichen Teilfeldern der Psychologie und sie bringen auch ganz unterschiedliche Themen auf. Dazu gehören konzeptuelle Probleme mit dem Design von Studien, ungeeignete statistische Analysen, das Verschweigen von unpassenden Ergebnissen.
Was passiert mit den Einsendungen nach Abschluss des Projekts?
Wir haben Ende letzten Jahres ein vorläufiges Manuskript online gestellt und erneut Psychologen aufgefordert, zum Projekt beizutragen falls es sie anspricht. Ende Januar werden wir die „Datensammlung“ offiziell beenden, uns in Ruhe anschauen was wir zugeschickt bekommen haben und dann das Manuskript nochmal überarbeiten und es bei einer wissenschaftlichen Zeitschrift einreichen. Dabei werden alle Autoren von Einsendungen auch Autoren des Manuskriptes: Es ist uns wichtig, anzuerkennen, dass es eine Selbstkorrektur auch ein wissenschaftlicher Beitrag ist, der geschätzt werden sollte.
Mehr über das Projekt unter lossofconfidence.com – ich interessiere mich für diesen Umgang mit Fehlern und Ungewissheiten, weil mein aktuelles Buch davon handelt: ¯\_(ツ)_/¯
