Im Oktober 2013 fragte „The Economist“ in einer Umfrage: „Has science gone wrong?“ Das Resultat wurde erst angezeigt, nachdem man seine Stimme abgegeben hatte. Ich war also gezwungen, mich für ein „yes“ oder ein „no“ zu entscheiden – eine schreckliche Gewissensfrage!

Gewissensfrage

Sage ich, dass sie auf dem falschen Pfad ist, ist dies womöglich ein Steilpass für die Homöopathen und Astrologen, die den Wissenschaftlern Verschlossenheit gegenüber den Geheimnissen dieser Welt vorwerfen. Sage ich, alles ist in Ordnung, wäre ich genauso unkritisch gegenüber meiner eigenen Herkunft. Die Probleme der Wissenschaft sind wahrlich bekannt. Auch Die Zeit machte daraus Anfang Januar ein Schwerpunktthema: „Rettet die Wissenschaft!“

Schlechte Statistik
Die wenigsten Wissenschaftler haben ein solides Wissen über die Statistik, die sie verwenden. Der Einsatz falscher Methoden und falsche Interpretationen der richtigen Methoden sind Gang und Gäbe. Dass durch wildes Hypothesen-Testen, häufiger Hypothesen vermeintlich bestätigt werden, ist vielen nicht bewusst. Hier eine Veranschaulichung von „The Economist“ und eines von vielen Beispielen aus der Psychologie.

Publication Bias
Wenn sich die Hypothesen als falsch erweisen, wird dies als „negatives“ Resultat interpretiert und nur selten publiziert, obwohl es sich um eine wichtige wissenschaftliche Erkenntnis handelt. Interessenkonflikte wie zum Beispiel bei einer von der Industrie finanzierten Studie fördern dieses leise verschwinden zusätzlich. Hier ein Beispiel von unpublizierten klinischen Studien in der Schweiz.

Fehlende Replikationen
Erst unabhängiges Wiederholen von Experimenten verleiht einem Resultat Glaubwürdigkeit. Nur lässt sich mit der Replikation von Resultaten keine Lorbeeren verdienen. Im Gegenteil: Die Zeitschriften wollen oft nicht einmal eine gescheiterte Replikation eines eigenen Berichts publizieren. Hier der Fall einer Psychologiezeitschrift.

Menge statt Inhalt
Dem sollte man eigentlich Gegensteuer geben können. Doch die Kultur ist schwer zu ändern, wenn die Beförderungen an Hochschulen nur durch ellenlange Publikationslisten erreicht werden kann. Wer die richtigen Experimente gemacht hat und zum Schluss kommt, dass eine attraktive Hypothese falsch ist, macht zwar eine wichtige Erkenntnis, kann diese aber kaum publizieren, wird kaum beachtet und verschwindet in der Bedeutungslosigkeit. Die Projekte, das Problem zu beheben haben den entsprechenden Ruf noch nicht (JUnQ/FisShare).

Indikatoren statt Beurteilungen
Damit die reine Menge der Publikationen nicht so relevant ist, wird der Impact Factor der Zeitschriften als Behelfsgrösse genommen. Nur wissen eigentlich alle, dass dieser so gut wie nichts über die Qualität der Arbeit aussagt. Aber es geht halt schneller mit den Zahlen, als wenn man mühsam Publikationen lesen muss. Hier ein Artikel über ein Projekt zur Neuorientierung der Wissenschaft.

Viele, kleine und schlechte Studien
Gerade in der medizinischen Forschung führen die oben genannten Probleme dazu, dass zu wenig aussagekräftige Studien gemacht werden. Gerade das müssten eigentlich Ethikkommissionen (oder zumindest Fachkollegen) verhindern. Das Resultat ist, dass wir mit Publikationen überhäuft werden, von denen die wenigsten wirklich relevant sind. Geld, Zeit und intellektuelle Leistung werden verschwendet und Probanden und Versuchstiere missbraucht. Hier eine Kritik an dieser Praxis aus der Intensivmedizin.

Wenig Übersichtsstudien
Am Anfang jeder grösseren Studie, sollte eine systematische Übersichtsstudie sämtlicher bisher zum Thema durchgeführter Studien gemacht werden. Nur damit kann man die fehlenden Antworten entdecken. Das ist aber harte Knochenarbeit für die es wenig Anerkennung gibt. Alles andere ist aber eigentlich sinnlose Wissenschaft. Hier ein Buchkapitel über die Situation in klinischen Versuchen.

Kaum Standards
Die richtige, grosse und damit aussagekräftige Studie durchzuführen braucht eine intensive Diskussion unter Wissenschaftlern. Man muss sich darauf einigen, welche offenen Fragen mit welche Daten beantworten werden können. Leider gibt es sehr viele parallele Welten, die nicht miteinander reden und in ihren Studien zu unterschiedlichen Schlüssen kommen, weil sie unterschiedliche Standrads ansetzen. Hier ein Beispiel eines Kulturkampfes aus der Gentechnik und der Versuch einer Standardiesierung.

Nur qualitativ
Eine häufige Ausrede, einen Versuch durchzuführen, ist dass gewisse Dinge nicht messbar seien. Vieles wäre aber messbar, wenn man sich nur darauf einigen würde, was man eigentlich wissen will. Gerade die PISA-Studien zeigen zum Beispiel, wie man den Erfolg der Schulbildung messen kann. Niemand behauptet, dass es neben der Vermittlung von PISA-Wissen, nicht auch noch andere relevante Aufgaben der Schule gäbe. Hier ein Anfang einer grossen, empirischen Einordnung aus den Erziehungswissenschaften.

Das alles ist natürlich nichts Neues und das ist das Traurige daran. Die Kultur lässt sich nur sehr langsam ändern. Vor 400 Jahren war es schon schwierig genug, überhaupt mit einer Wissenschaftskultur zu beginnen. Nun hat diese unsere Gesellschaft so stark verändert, dass damit wohl auch die gesellschaftlichen Ansprüche an deren Qualität gestiegen sind. Vielleicht liegt es auch daran, dass heute alle Wissenschaftler sein wollen, aber die wenigsten wirklich bereit sind, die vielen Rückschläge in der echten Wissenschaft auf sich zu nehmen.

Schlechte Wissenschaft ist möglicherweise besser als gar keine. Drei von fünf haben wohl entsprechend bei der Economist-Umfrage mit „no“ geantwortet. Aber reicht das als Grund, um sie zu betreiben? Ich habe mit dem Rest auf „yes“ geklickt.

Doch nicht so schlimm?