Publication Bias

Der Publication Bias, zu deutsch Publikationsbias, ist ein Phänomen im Bereich der wissenschaftlichen Publizistik und bezeichnet das bevorzugte Veröffentlichen von Arbeiten und Studien, die zu "positiven" oder auch nur zu signifikanten Ergebnissen gekommen sind. Aufgrund dieses Effektes kommt es zu einer Verzerrung der gesamten Studienlage. Artikel mit positiven Ergebnissen sind leichter zu publizieren als solche mit "negativen", also nicht-signifikanten Ergebnissen.

Auch kann beobachtet werden, dass bestimmte Autoren, die in Studien zu einem Ergebnis gekommen sind, die ihren eigenen Vorstellungen widersprechen, die entsprechende Arbeit nicht veröffentlichen und sie sozusagen "in einer Schublade" verschwinden lassen.

Belegt ist, dass insgesamt mehr Arbeiten mit positiven Ergebnissen veröffentlicht werden. Dies trifft insbesondere auch auf Arbeiten aus dem alternativmedizinischen und naturheilkundlichen Bereich zu.

Aus den genannten Gründen verlangen mittlerweile einige medizinische Fachzeitschriften, dass alle durchgeführten Studien vorher bekannt gemacht werden müssen. Nur solche im Voraus publik gemachte Studien werden dann gegebenenfalls zur Publikation angenommen. Dies soll neben anderen Aspekten einen Überblick über die zum Thema durchgeführten Studien ermöglichen, um den Publikationsbias zumindest abschätzen zu können.

Darüber hinaus gibt es bereits Fachzeitschriften (vorrangig im Internet, s.u.), die gezielt Studien mit "negativem", d.h. im Sinne der Fragestellung nicht signifikanten Ergebnissen publizieren. Auch die Cochrane Collaboration ist an solchen Ergebnissen sehr interessiert, um sie in ihre Analysen zu den Standards in der Medizin verwenden zu können.

Beispiel: publication bias in der PSI-Forschung

Ein Beispiel für einen Fall eines publication bias war die Unmöglichkeit von Forschern, eine gescheiterte Replikation einer publizierten Studie zu einem hypothetischen PSI-Effekt des Professor emeritus an der Cornell University, Daryl Bem in einem peer-reviewten Journal zu veröffentlichen. Daryl Bem hatte behauptet, dass Präkognition, also die behauptete Fähigkeit, die Zukunft vorsagen zu können, existiert. Mit seinen Experimenten an 1.000 Versuchspersonen wollte er gezeigt haben, dass diese besser bei Tests abschnitten, wenn sie im Nachhinein “übten”. Autor Bem konnte seine Studie 2011 im peer-reviewten Journal of Personality and Social Psychology veröffentlichen. Bem ermutigte ausdrücklich Fachkollegen seine Studie mit gleicher Methodik zu wiederholen: ..Issues of Replication - Replication packages are available on request for Macintosh and Windows-based computers to encourage and facilitate replication of the experiments reported here. I suspect that the experiments on retroactive priming and retroactive facilitation of recall will be the easiest to replicate successfully..

Natürlich fanden sich sofort Kritikpunkte an der Studie, aber wie es nun in der Wissenschaft so üblich ist, wurde das Wichtigste Experiment unabhängig wiederholt, um Nachweise für den genannten Effekt zu finden. Jeder Skeptiker wird wahrscheinlich ob des Ergebnisses total verblüfft sein: “Nichts.”

Der Effekt, den Bem beobachtet hatte, konnte nicht repliziert werden. Wiederholbarkeit ist jedoch eines der Hauptkriterien wissenschaftlicher Experimente und ohne Wiederholbarkeit hat man “Nichts”.

Bem selbst ist davon wenig beeindruckt. In einem Kommentar schrieb er, es sei “premature to conclude anything about the replicability” und vor allem:

But there is one potential difference they fail to discuss: The possible effects of experimenter expectations and attitudes about the experimental hypothesis—as demonstrated by Robert Rosenthal in mainstream psychology several years ago. This has also been found to be a source of non-replication in psi experiments. Even if the principal investigator is not the actual experimenter, he or she can easily transmit skepticism and negative expectations to the actual experimenters …

Mit anderen Worten: die Skeptiker seien voreingenommen an die Sache herangegangen und hätten so das Ergebnis negativ beeinflusst.

Also, da haben wir auf der einen Seite ein dubioses Ergebnis, das sich nicht mit unserem Erkenntnisstand vereinbaren lässt. Aber das Ergebnis, das zum aktuellen Wissensstand passt, soll durch Voreingenommenheit verfälscht sein.

Ernsthaft? Dieses Argument wollen Sie vorbringen, Professor Bem?

Die Autoren der Studie antworten auf diese und andere vorgebrachte Argumente in einem eigenen Kommentar, in dem sie ihre Vorgehensweise erklären und zu den Vorwürfen von Bem Stellung nehmen.

Spannend ist noch zu erwähnen, dass die Studie ebenfalls beim Journal of Personality and Social Psychology – dem Journal, das auch Bem publiziert hatte – eingereicht und dann abgelehnt wurde, da es “nur” eine Replikation eines Experiments sei.

Einer der Autoren der Studie (Ritchie) zeigt sich bestürzt:

“There’s a real problem with finding shocking findings and then not being interested in publishing replications,”

Es zeigt das Problem des Publikationsbias sehr schön. Journale sind nicht interessiert an Studien mit negativen Ergebnissen – speziell solchen, die einfach nur vorhergehende Ergebnisse prüfen. Nur Erfolge zählen, Misserfolge sind nicht erwünscht. Auch weitere Versuche, das Papier zu veröffentlichen, schlugen fehl, diverse Journale lehnten ab. Besonders pikant die Ablehnung durch das “British Journal of Psychology”, da dort Bem selbst einer der Reviewer war. (Der Bock zum Gärtner …)

Die Autoren waren dann sehr erfreut, dass sie ihre Arbeit schließlich beim Open Access Journal PLoS ONE(Public Library of Science) veröffentlichen konnten.

Der Guardian berichtet sehr umfassend darüber.

Weitere Wiederholungen der Experimente werden sicher durchgeführt werden und die uns Esowatchern innewohnenden hellseherischen Kräfte lassen uns ganz klar vorhersehen, dass auch weiterhin keine hellseherischen Kräfte gefunden werden.

Was die Journale und ihre Publikationsstrategie angeht, so zeigt dieses Beispiel einmal mehr, dass Änderungen notwendig sind. Wir haben ja schon öfter über die Journal/Publikations/Open Science-Thematik geschrieben; es steht zu hoffen, dass Publikationsbias irgendwann der Vergangenheit angehört.

Weblinks

• http://www.aerzteblatt.de/v4/news/news.asp?id=41074