Die Wahrheit über den aktuellen Stand der wissenschaftlichen Forschung
Der derzeitige Zustand der Wissenschaft ist katastrophal. In den letzten 40 Jahren haben wir praktisch den Tod der Wissenschaft miterlebt. Es ist schwer zu sagen, aber was derzeit in den meisten Labors produziert wird, hat wenig Ähnlichkeit mit echter Wissenschaft. Die Wahrheit über den aktuellen Stand der Wissenschaft kann man in drei Hauptthemen erfassen, dies sind:
- Die Tatsache, dass die meisten veröffentlichten Forschungsergebnisse mit grösster Wahrscheinlichkeit falsch
- Die Krise der Reproduzierbarkeit, bei der in über 90 % der wissenschaftlichen Arbeiten nicht reproduziert werden können
- Der fehlerhafte Peer-Review-Prozess
Sind die meisten veröffentlichten Forschungsergebnisse falsch?
Ioannidis, J. P. A. (2005). Why Most Published Research Findings Are False. PLOS Medicine, 2(8), e124. https://doi.org/10.1371/JOURNAL.PMED.0020124
Vor etwa 18 Jahren veröffentlichte John Ioannidis seinen inzwischen bahnbrechenden Aufsatz mit dem Titel «Why Most Published Research Findings Are False». Darin skizzierte er eine Reihe von Faktoren, die, wenn sie vorhanden sind, die Wahrscheinlichkeit verringern, dass ein bestimmtes Ergebnis wahr ist. In Wirklichkeit sind in den meisten Fällen viele dieser Faktoren vorhanden, so dass Ioannidis zu dem Schluss kommt, dass die meisten Ergebnisse falsch sind. An dieser Stelle möchte ich ansetzen. Schnallt euch an! Wir werden eine ganz schöne Fahrt machen…
Ioannidis untermauert seine Behauptungen
Es gibt zunehmend Bedenken, dass die meisten der derzeit veröffentlichten Forschungsergebnisse falsch sind.
Simulationen zeigen, dass es bei den meisten Studiendesigns und Rahmenbedingungen wahrscheinlicher ist, dass eine Forschungsbehauptung falsch ist als wahr. Darüber hinaus sind die behaupteten Forschungsergebnisse in vielen aktuellen wissenschaftlichen Bereichen oft einfach nur genaue Messungen der vorherrschenden Vorurteile.
Die obigen Zitate stammen aus dem zusammenfassenden Teil des Aufsatzes von Ioannidis. Er hat keine Zeit verschwendet, um zum Kern der Sache vorzudringen. Ihm zufolge gibt es Simulationen, die zeigen, dass es wahrscheinlicher ist, dass eine bestimmte Forschungsbehauptung falsch ist als wahr. Es ist sogar möglich, dass viele von ihnen nur ein Mass für die vorherrschende Voreingenommenheit sind. In seinem Aufsatz untermauert er diese scheinbar kühnen Behauptungen deutlich. Vieles von dem, was er hervorhebt, haben Wissenschaftler in ihrer Laufbahn selbst beobachtet.
Es geht nur um den p-Wert – zumindest glauben das die Wissenschaftler
Die erste Sache, die einen grossen Einfluss auf die Wahrscheinlichkeit hat, dass ein Ergebnis wahr ist, ist die statistische Signifikanz und die übermässige Verwendung des so genannten p-Wertes. Das New Oxford American Dictionary definiert den p-Wert wie folgt:
die Wahrscheinlichkeit, dass ein bestimmtes statistisches Maß, z. B. der Mittelwert oder die Standardabweichung, einer angenommenen Wahrscheinlichkeitsverteilung größer oder gleich den beobachteten Ergebnissen sein wird.
Wissenschaftler verwenden in der Regel einen p-Wert von weniger als 0,05, um statistische Signifikanz zu ermitteln. Sie behaupten, dass, wenn ein bestimmter Datensatz einen solchen p-Wert hat, das Ergebnis real und wahrscheinlich wahr ist. Ioannidis hatte eine andere Meinung zu diesem Thema.
Mehrere Methodiker haben darauf hingewiesen, dass die hohe Rate der Nichtwiederholung von Forschungsergebnissen eine Folge der bequemen, aber schlecht begründeten Strategie ist, schlüssige Forschungsergebnisse allein auf der Grundlage einer einzigen Studie zu behaupten, die nach formaler statistischer Signifikanz bewertet wird, typischerweise bei einem p-Wert von weniger als 0,05.
Hier beginnt er mit dem Begriff der Nicht-Replikation, auf den wir in einem der nächsten Beiträge eingehen werden. Der Rest des Zitats unterstreicht, dass es seiner Meinung nach eine schlechte Strategie ist, sich auf die formale statistische Signifikanz als Grundlage für die Bewertung eines bestimmten Forschungsergebnisses zu verlassen. Viele Wissenschaftler haben sich stark auf die statistische Signifikanz verlassen und tun dies auch heute noch, was dazu führt, dass die meisten ihrer Ergebnisse falsch sind. Nicht nur Ioannidis hat eine solche Behauptung über die übermässige Verwendung des p-Wertes aufgestellt.
Auftritt David Colquhoun
Colquhoun, D. (2014). An investigation of the false discovery rate and the misinterpretation of p-values. Royal Society Open Science, 1(3). https://doi.org/10.1098/RSOS.140216
Im Jahr 2014 veröffentlichte David Colquhoun, ein Pharmakologe und Statistiker vom UCL, einen Übersichtsartikel in der Zeitschrift Open Science der Royal Society. Wie wir sehen werden, untermauert er die Behauptungen von Ioannidis sehr deutlich und beginnt mit einem Paukenschlag.
Wenn Sie p=0,05 verwenden, um anzunehmen, dass Sie eine Entdeckung gemacht haben, werden Sie in mindestens 30 % der Fälle falsch liegen. Wenn, wie es oft der Fall ist, die Experimente nicht ausreichend leistungsfähig sind, werden Sie sich meistens irren.
Damit der erste Teil stimmt, müssten sie ein ideales Versuchsszenario haben. Die traurige Wahrheit ist, dass dies in den allermeisten Fällen nicht der Fall ist und daher die meisten Experimente am Ende zu schwach sind, was wiederum bedeutet, dass Sie falsch liegen, wenn Sie p=0,05 verwenden. Sicherlich fragt ihr euch, was mit der Aussagekraft eines Experiments gemeint ist oder wie es zu einer zu geringen Aussagekraft kommen kann, und dazu werde ich gleich kommen. Bevor ich zu Ioannidis zurückkehre, möchte ich noch ein weiteres Zitat aus Colquhouns Arbeit anführen.
Man macht sich lächerlich, wenn man behauptet, etwas entdeckt zu haben, obwohl man nur den Zufall beobachtet. Unter diesem Gesichtspunkt kommt es auf die Wahrscheinlichkeit an, dass ein Ergebnis, das «statistisch signifikant» ist, tatsächlich eine Wirkung hat. Wenn Sie ein «signifikantes» Ergebnis finden, obwohl nichts anderes als Zufall im Spiel ist, ist Ihr Ergebnis ein falsches Positiv, und die Wahrscheinlichkeit, ein falsches Positiv zu erhalten, ist oft erschreckend hoch.
Es ist schwer, Colquhoun hier nicht zuzustimmen. Er macht deutlich, wie problematisch es ist, sich zu sehr auf die Verwendung des p-Werts zu verlassen, wenn man ein Experiment mit zu geringer Aussagekraft hat.
Was hat es mit der Voreingenommenheit auf sich?
Als Nächstes nimmt Ioannidis die Voreingenommenheit ins Visier. Er definiert ihn folgendermassen:
Zunächst definieren wir Verzerrung als die Kombination verschiedener Design-, Daten-, Analyse- und Präsentationsfaktoren, die dazu neigen, Forschungsergebnisse zu produzieren, obwohl sie nicht produziert werden sollten.
Voreingenommenheit kann eine Manipulation bei der Analyse oder Berichterstattung über die Ergebnisse bedeuten. Selektive oder verzerrte Berichterstattung ist eine typische Form einer solchen Verzerrung.
Beachte, dass er die Manipulation von Analysen oder Berichten als ein Mittel erwähnt, bei dem Voreingenommenheit zum Tragen kommt. Dies ist meiner Meinung nach ein grosses Problem. Viele Wissenschaftler tun das, was sie als «Massieren» der Daten bezeichnen, um Ausreisser zu eliminieren, die ihre gewünschte Schlussfolgerung gefährden könnten. Er fährt fort: «Mit zunehmender Voreingenommenheit nimmt die Wahrscheinlichkeit, dass ein Forschungsergebnis wahr ist, erheblich ab». Daher ist die Voreingenommenheit ein wesentlicher Faktor bei der Bestimmung der Wahrhaftigkeit von Forschungsergebnissen. Voreingenommenheit ist in der heutigen wissenschaftlichen Forschung allgegenwärtig und nimmt viele Formen an.
Die Folgerungen
Daraus leitet Ioannidis mehrere interessante Folgerungen ab, die, wenn sie vorhanden sind, die Wahrscheinlichkeit verringern, dass ein Forschungsergebnis wahr ist. Dies sind die folgenden:
- Folgerung 1: Je weniger Studien in einem wissenschaftlichen Bereich durchgeführt werden, desto unwahrscheinlicher ist es, dass die Forschungsergebnisse zutreffen.
- Folgerung 2: Je kleiner die Effektgrössen in einem wissenschaftlichen Bereich sind, desto unwahrscheinlicher ist es, dass die Forschungsergebnisse zutreffen.
- Folgerung 3: Je grösser die Anzahl und je geringer die Auswahl der untersuchten Zusammenhänge in einem wissenschaftlichen Bereich, desto unwahrscheinlicher ist es, dass die Forschungsergebnisse zutreffen.
- Folgerung 4: Je grösser die Flexibilität in Bezug auf Design, Definitionen, Ergebnisse und Analysemethoden in einem wissenschaftlichen Bereich ist, desto unwahrscheinlicher ist es, dass die Forschungsergebnisse zutreffen.
- Folgerung 5: Je grösser die finanziellen und sonstigen Interessen und Vorurteile in einem wissenschaftlichen Bereich sind, desto unwahrscheinlicher ist es, dass die Forschungsergebnisse zutreffen.
- Folgerung 6: Je heisser ein wissenschaftliches Feld ist (mit mehr beteiligten wissenschaftlichen Teams), desto unwahrscheinlicher ist es, dass die Forschungsergebnisse wahr sind.
Auf der Grundlage dieser Folgerungen möchte ich einige Beobachtungen anstellen. Die erste bezieht sich auf den Stichprobenumfang. Dies wäre der Fall, wenn nur eine begrenzte Anzahl von Wiederholungsproben getestet wird. In einer Reihe von Covid-Artikeln habe ich festgestellt, dass bei der Analyse von Patientenproben die Grösse der Patientengruppen recht klein ist. Dies ist besonders überraschend, wenn man bedenkt, dass es sich um eine weltweite Pandemie handeln soll und es daher keinen Mangel an Patienten geben sollte, von denen man Proben nehmen könnte.
Die Stichprobengrösse ist auch ein Faktor, der die Aussagekraft des Experiments beeinflusst. Ein anderer ist die Effektgrösse. Folgerung 2 verdeutlicht dies. Wenn sie eine kleine Stichprobengrösse haben und einen kleinen Effekt beobachten, wäre dies ein Experiment mit zu geringer Aussagekraft und wenn Sie einen p-Wert = 0,05 verwenden, um festzustellen, ob Sie ein gültiges Ergebnis haben, dann würde Colquhoun sagen, dass Sie in den meisten Fällen falsch liegen.
Seit vielen Jahren kann man auch beobachten, dass den Wissenschaftlern bei der Versuchsplanung und den Analysemethoden sehr viel Flexibilität geboten wird. Wenn zwei verschiedene Laborkollegen dasselbe Experiment durchführen, kommen sie in den meisten Fällen zu unterschiedlichen Ergebnissen. Folglich sind alle Ergebnisse nicht gültig. Folgerung 5 sollte niemanden überraschen. In der wissenschaftlichen Forschung gibt es heute eine grosse und ständig wachsende Zahl von Interessenkonflikten.
Ein weiterer wichtiger Aspekt ist die Finanzierung. Ich kenne Wissenschaftler, die sich direkt an diejenigen wenden, die das Geld haben, um ihnen zu sagen, was sie tun oder was sie in ihren Experimenten finden sollen. Das ist natürlich keine Wissenschaft und es wirkt sich eindeutig darauf aus, ob eine Erkenntnis wahr ist. Die letzte Folgerung ist besonders auf die gegenwärtige Situation mit Covid anwendbar. Ich meine, hat es jemals ein heisseres Feld gegeben, auf dem ständig neue Daten veröffentlicht werden.
Wir sehen jetzt sogar, dass viele Daten als Vorabdrucke veröffentlicht werden. Das heisst, eine Arbeit wird veröffentlicht, ohne dass sie den vollständigen Peer-Review-Prozess durchlaufen hat. Damit will ich nicht sagen, dass mit dem Peer-Review-Verfahren nicht eine Menge falsch läuft, aber darauf werden wir in einem der nächsten Artikel eingehen. Der Punkt ist, dass die Daten so schnell veröffentlicht werden, dass sie nicht einmal überprüft werden und trotzdem von vielen in der wissenschaftlichen Gemeinschaft als wahr akzeptiert werden. Ich bin sicher, ihr könnt das Problem verstehen. Hier ist noch etwas mehr von Ioannidis, dass das Problem mit Daten, die aus einem heissen wissenschaftlichen Bereich wie Covid stammen, noch deutlicher macht.
Dies mag erklären, warum wir in Bereichen, die grosse Aufmerksamkeit auf sich ziehen, gelegentlich grosse Aufregung erleben, auf die schnell grosse Enttäuschungen folgen. Da viele Teams auf demselben Gebiet arbeiten und umfangreiche experimentelle Daten produziert werden, ist das Timing von entscheidender Bedeutung, um die Konkurrenz zu schlagen. Daher kann jedes Team der Verfolgung und Verbreitung seiner beeindruckendsten «positiven» Ergebnisse Priorität einräumen.
Ioannidis schliesst seinen Aufsatz mit der Frage, wie diese Probleme gelöst werden können. Leider haben viele seinen Rat nicht beherzigt. Es gibt noch ein paar weitere Zitate, die ich nachlässig machen würde, wenn ich sie nicht erwähnen würde.
Ein grosses Problem besteht darin, dass es unmöglich ist, mit 100%iger Sicherheit zu wissen, was die Wahrheit in einer Forschungsfrage ist. In dieser Hinsicht ist der reine «Goldstandard» unerreichbar.
Entgegen dem, was «die Experten» dir weismachen wollen, ist es eine Tatsache, dass die Wissenschaft keine absolute Wahrheit liefert. Man kann nie etwas mit 100-prozentiger Gewissheit wissen. Sie ist nie endgültig und verändert sich ständig.
Der Herausgeber des Lancet bringt es auf den Punkt
Horton, R. (2015). Offline: What is medicine’s 5 sigma? The Lancet, 385(9976), 1380. https://doi.org/10.1016/S0140-6736(15)60696-1
Richard Horton ist der Chefredakteur von The Lancet, einer angesehenen medizinischen Fachzeitschrift. Im Jahr 2015, zehn Jahre nach der Veröffentlichung des Aufsatzes von Ioannidis, veröffentlichte Horton einen aussagekräftigen Kommentar. Darin ging es um etwas, das er auf einem Symposium «über die Reproduzierbarkeit und Zuverlässigkeit der biomedizinischen Forschung» gehört hatte, das von keinem Geringeren als dem Wellcome Trust veranstaltet wurde. Wenn du mit dem Wellcome Trust nicht vertraut bist, solltest du dich über ihn informieren. Diese Gruppe war insbesondere in den frühen Tagen von Covid massgeblich an der Durchsetzung vieler tyrannischer Massnahmen beteiligt. Zurück zu Hortons Artikel. Er beginnt mit einer Bemerkung, die er zufällig gehört hat und die meiner Meinung nach die gesamte Situation sehr gut zusammenfasst.
Vieles, was veröffentlicht wird, ist falsch.
Kurz und bündig, aber sehr treffend. Es sollte nicht auf taube Ohren stossen, dass dies wahrscheinlich von jemandem gesagt wurde, der in der Welt der Wissenschaft viel Einfluss hat. Ich betrachte dies als ein offenes Eingeständnis, auch wenn viele Wissenschaftler behaupten, dass das System nicht fehlerhaft ist. Horton fährt fort, indem er seine eigenen Gedanken darlegt, die Ioannidis‘ Behauptungen eindeutig untermauern. Er scheint auch mit der verwendeten Argumentation einverstanden zu sein.
Die Argumente gegen die Wissenschaft sind eindeutig: Ein Grossteil der wissenschaftlichen Literatur, vielleicht sogar die Hälfte, ist einfach unwahr. Geplagt von Studien mit kleinen Stichproben, winzigen Effekten, ungültigen explorativen Analysen und eklatanten Interessenkonflikten sowie der Besessenheit, modische Trends von zweifelhafter Bedeutung zu verfolgen, hat sich die Wissenschaft ins Dunkel verirrt.
Da gibt es nicht viel zu beanstanden, aber Horton fährt fort.
In ihrem Bestreben, eine überzeugende Geschichte zu erzählen, formen Wissenschaftler allzu oft Daten so, dass sie in ihre bevorzugte Theorie der Welt passen. Oder sie passen ihre Hypothesen an ihre Daten an.
Dies ist inzwischen sehr verbreitet und viele Wissenschaftler haben dies in ihrer Karriere oft erlebt. Es geht darum, Daten zu generieren, die zu einer vorgefassten Hypothese passen oder sich auf die Geschichte festzulegen, die eine Arbeit erzählen soll, bevor alle Daten generiert worden sind. Das ist eindeutig keine Wissenschaft, und wenn man so vorgeht, führt das zweifellos dazu, dass ungültige Ergebnisse vorgelegt werden. Horton schliesst mit der Frage, ob diese schlechten Praktiken behoben werden können und kommt dann auf einen der grösseren Teile des Problems zu sprechen.
Ein Teil des Problems besteht darin, dass niemand einen Anreiz hat, Recht zu haben. Stattdessen gibt es für Wissenschaftler Anreize, produktiv und innovativ zu sein.
Das ist heute wie damals zu 100 % wahr und wird es wahrscheinlich auch weiterhin sein, da niemand einen Anreiz hat, auf eine Lösung hinzuarbeiten. Das Geschäft mit der Wissenschaft hat die wahre Wissenschaft ruiniert. Sie ist nicht mehr als eine Innovationsmaschine geworden.
Was hat die CDC gesagt?
Ich möchte dies mit einer, wie ich glaube, recht freimütigen Aussage einer Gruppe der CDC abschliessen, die 2007 eine Antwort auf den Aufsatz von Ioannidis veröffentlichte.
Moonesinghe, R., Khoury, M. J., & Janssens, A. C. J. W. (2007). Most Published Research Findings Are False—But a Little Replication Goes a Long Way. PLoS Medicine, 4(2), e28. https://doi.org/10.1371/JOURNAL.PMED.0040028
Im Wesentlichen behaupteten sie, nachweisen zu können, dass eine Studie, die wiederholt werden kann, die Wahrscheinlichkeit erhöht, dass ein bestimmtes Ergebnis wahr ist, und dass dies in der Tat Ioannidis‘ Problem mit der statistischen Signifikanz lösen würde. Sie beginnen damit, dass sie zugeben, dass das, was Ioannidis behauptet, wahrscheinlich wahr ist.
Er zeigte auf elegante Weise, dass die meisten behaupteten Forschungsergebnisse falsch sind.
Nur um das klarzustellen: Das ist eine Gruppe der CDC, die zugibt, dass die meisten veröffentlichten Forschungsergebnisse falsch sind. Lies das ein paar Mal, um sicherzugehen, dass es auch ankommt. Dann sprechen sie über die Replikation und darüber, wie dieses Problem möglicherweise gelöst werden könnte.
Als Teil des wissenschaftlichen Betriebs wissen wir, dass die Replikation – die Durchführung einer weiteren Studie, die dieselbe Hypothese statistisch bestätigt – der Eckpfeiler der Wissenschaft ist und dass die Replikation von Ergebnissen sehr wichtig ist, bevor irgendwelche kausalen Schlüsse gezogen werden können.
Auch hier ist es die CDC (dieselbe, die uns während des Covid drakonische Massnahmen aufgedrängt hat), die behauptet, dass eine Wiederholung entscheidend ist, bevor festgestellt werden kann, ob ein Befund wahr ist. Nun, wir haben ein kleines Problem mit der Replikation. Und zwar so sehr, dass man es als Krise bezeichnet hat, als «Reproduzierbarkeitskrise». Nur so aus Neugier: Hat die CDC Studien verwendet, die repliziert wurden, um eine der von ihr vorgeschlagenen Massnahmen zu rechtfertigen? Ich glaube nicht.
Unterscheidungsvermögen ist der Schlüssel
Ich hoffe, ihr könnt daraus ersehen, warum es so wichtig ist, dass wir bei der Bewertung neuer wissenschaftlicher Behauptungen, insbesondere solcher, die erhebliche Auswirkungen auf unsere Lebensweise haben, sehr kritisch vorgehen. Bleibt dran, wenn wir uns das nächste Mal eingehender mit der Replikationskrise beschäftigen. Das wollt ihr nicht verpassen. Ich hoffe wirklich, dass ihr in diesem Sturm, der um uns herum tobt, eure Ruhe findet. Und hört natürlich nicht auf, die Wissenschaft in Frage zu stellen! Sie ist nie abgeschlossen!
(von Mike Donio, MS aus dem englischen übersetzt)
