Publikationsbias – ein strukturelles Problem

Die geringe Replizierbarkeit von wissenschaftlichen Studien innerhalb der Sozial-, Verhaltens- und Wirtschaftswissenschaften führt zu Fragen hinsichtlich der Glaubwürdigkeit und Belastbarkeit eben jener Forschungsergebnisse. Selektive Berichterstattung von ausschließlich signifikanten Forschungsergebnissen sowie die Nichtveröffentlichung von nicht signifikanten oder Nullergebnissen verstärken das Problem, welches letztlich zu einem verzerrten Korpus der wissenschaftlichen Literatur (engl. Publication Bias) führt.
Im Rahmen des DFG-Projekts „PubBias“ extrahierten Desirée Nießen, Caroline Poppa et al. Informationen aus Forschungsanträgen zweier deutscher Erhebungsinfrastrukturen (GESIS Panel und SOEP-IS) und deren dazugehörigen Publikationen. Mit diesem Datensatz analysierten sie die Prävalenz von Nicht-Publikation, selektiver Publikation und der Inklusion neuer Hypothesen (Poppa et al., 2026) sowie welche Faktoren die Nicht-Publikation in den Sozial-, Wirtschafts- und Verhaltenswissenschaften beeinflussen (Nießen et al., 2025).

The low replicability of scientific studies in the social, behavioral, and economic sciences raises questions about the credibility and robustness of these research findings. The prioritized and selective reporting of significant results leads to non-significant or null findings being underrepresented in the published literature, ultimately leading to a distorted body of scientific literature (known as publication bias).
As part of the DFG-funded project “PubBias”, Desirée Nießen, Caroline Poppa, and colleagues compared 178 research proposals submitted to two German panel infrastructures (the GESIS Panel and SOEP-IS) to their subsequent publications. This approach allowed them to assess the prevalence of non-publication, selective reporting , and the inclusion of new hypotheses (Poppa et al., 2026), as well as the identification of risk factors for publication bias in the social, behavioral and economic sciences (Nießen et al., 2025).

DOI: 10.34879/gesisblog.2026.123

Publikationsverzerrung in der Wissenschaft

Publikationsverzerrung (engl. Publication Bias) beschreibt die selektive Veröffentlichung oder Nichtveröffentlichung von Forschungsergebnissen in Abhängigkeit von deren Richtung oder Stärke. So werden statistisch signifikante Ergebnisse und größere Effekte häufiger veröffentlicht als nicht signifikante Ergebnisse, Nullergebnisse oder kleinere Effekte. Bleiben Studien oder einzelne Befunde unveröffentlicht, unterscheidet sich jedoch die publizierte Evidenz systematisch von der Gesamtheit der tatsächlich gewonnenen Erkenntnisse. Das File-Drawer-Problem (engl. File Drawer Problem; nach Rosenthal, 1979) beschreibt den Vorgang der selektiven Nicht-Publikation: Insbesondere nicht signifikante oder nicht hypothesenkonforme Ergebnisse verbleiben sinnbildlich in der Aktenschublade und werden der wissenschaftlichen Öffentlichkeit nicht zugänglich gemacht. Dabei lebt die Wissenschaft von Erkenntnisgewinn und dem Teilen neu gewonnener Ergebnisse – auch wenn diese entgegen den Erwartungen ausfallen oder unerklärlich sind. Wenn Forschungsergebnisse jedoch nur selektiv oder gar nicht veröffentlicht werden, entsteht eine Verzerrung der wissenschaftlichen Evidenz. Dies führte unter anderem zur sogenannten Replikationskrise (engl. Replication Crisis), die zunächst in der Psychologie und Biomedizin beobachtet wurde und heute die Literatur der Sozial-, Verhaltens- und Wirtschaftswissenschaften der Vergangenheit in verschiedenen Ausprägungen betrifft. Als mögliche Ursachen für geringe wissenschaftliche Replikationsraten gelten neben der selektiven Publikation oder Nicht-Publikation sogenannte fragwürdige wissenschaftliche Praktiken (engl. questionable research practices). Zu diesen zählen beispielsweise eine geringe Transparenz bezüglich des Forschungsvorgehens und das Verschleiern von Forschungspraktiken, unklare Daten- und Methodenangaben sowie die Post-hoc-Hypothesenbildung, nachdem die Analysen bereits abgeschlossen sind (engl. HARKing), sowie das nachträgliche Verändern oder Massieren von erhobenen Daten, um auf das gewünschte Ergebnis zu kommen (p-Hacking). Sogenannte Open-Science-Praktiken wie Präregistrierungen (also die Veröffentlichung des Forschungsvorhabens vor der Datenanalyse) oder der offene Zugang zu Daten sollen diesen Prozessen entgegenwirken und die Replizierbarkeit und Glaubwürdigkeit der Wissenschaft reetablieren. Dennoch zeigten auch jüngere Metaanalysen, dass Forschungsergebnisse der Sozial-, Verhaltens- und Wirtschaftswissenschaften weiterhin nur eingeschränkt replizier- oder reproduzierbar sind (Open Science Collaboration, 2015). Doch was sind die Folgen dieses Publikationsbias?

Folgen von Publikationsverzerrung für die Wissenschaft und für die Allgemeinheit

Die bevorzugte und selektive Publikation von signifikanten oder hypothesenkonformen Ergebnissen gegenüber nicht signifikanten oder hypothesenwiderlegenden Ergebnissen kann dazu führen, dass wissenschaftliche Effekte und Trends überschätzt werden. Durch den Publikationsbias entsteht ein systematischer Unterschied zwischen den Aussagen veröffentlichter und unveröffentlichter Studien, was die Aussagekraft metawissenschaftlicher Studien zu einem Thema erschwert, da die publizierte Literatur allein den vollständigen Forschungsstand nur bedingt widerspiegelt. In der Folge können wissenschaftliche Debatten sowie politische oder praktische Entscheidungen auf unvollständiger oder verzerrter Evidenz basieren, was das Risiko wissenschaftlich fundierter Fehleinschätzungen und erratischer Empfehlungen erhöht. Zudem könnten bereits durchgeführte Studien unnötig wiederholt werden, wodurch Zeit und Ressourcen ineffizient genutzt und letztlich auch öffentliche Gelder „verschwendet“ werden. Die geringe Replizierbarkeit von Studien sowie das zunehmende Wissen um sogenannte fragwürdige wissenschaftliche Praktiken führen auch zu Zweifeln an der Belastbarkeit bestehender wissenschaftlicher Befunde und Theorien und mindern dadurch die allgemeine Glaubhaftigkeit der Wissenschaft in der Öffentlichkeit.

**Publikationsverzerrung in Panelstudien erfassen: das PubBias-Projekt**

Das Besondere an den im Rahmen des DFG geförderten PubBias-Projekts gewonnenen Erkenntnissen ist, dass darin echte a priori Studienanträge (also vor Datenerhebung und Zugang) mit deren späteren Publikationen verglichen wurden und somit metawissenschaftlich glaubhafte Aussagen zum Stand der Nicht- und selektiven Publikationskultur innerhalb ihrer Stichprobe gemacht werden konnten. Die Stichprobe des PubBias-Projekts beinhaltete 178 Studien, die zwischen 2013 und 2021 im GESIS Panel oder im Innovationspanel des Sozio-ökonomischen Panels (SOEP-IS) durchgeführt wurden. Beide Panel-Infrastrukturen ermöglichen Wissenschaftler*innen aus den Sozial-, Wirtschafts- und Verhaltenswissenschaften, eigene Befragungsmodule für ihre Forschung einzureichen. Bevor das beantragte Forschungsmodul in einer der Panelinfrastrukturen erhoben wird, muss von den Wissenschaftler*innen ein detaillierter Forschungsantrag mit theoretischem Hintergrund, Forschungsfragen oder Hypothesen, einem Studiendesign und vorgesehenen Messinstrumenten eingereicht werden. Nach erfolgreicher Begutachtung werden angenommene Studien in den Panels umgesetzt und die erhobenen Daten für wissenschaftliche Auswertungen bereitgestellt. Die 178 Forschungsanträge dokumentieren damit bereits vor der Datenauswertung, welche Untersuchungen und Hypothesen ursprünglich geplant waren.

Um im nächsten Schritt Unterschiede zwischen geplanter und tatsächlich publizierter Forschung erkennen zu können, suchte das PubBias-Team systematisch nach Publikationen, die eindeutig den 178 Forschungsanträgen des GESIS Panels und des SOEP-IS entstammten. So konnte erfasst werden, ob aus einem Projekt überhaupt eine Publikation hervorging und in welchem Umfang die zuvor formulierten Hypothesen später getestet und berichtet wurden. Mithilfe eines detaillierten Kodierschemas mit über 200 Variablen erfasste das PubBias-Team systematisch Merkmale der Forschungsanträge, deren Publikationen und Autor*innen, um mögliche Faktoren für Publikationsbias zu identifizieren. Dadurch, dass nur die von den Panelinfrastrukturen angenommenen Forschungsanträge betrachtet wurden, konnte das PubBias-Projekt zudem feststellen, welche Studien (trotz erhobener Daten) nicht publiziert wurden, und daher Aussagen zur Nicht-Publikation treffen – ein Unterfangen, das sonst aufgrund der Unsichtbarkeit von nicht publizierter Literatur oft unmöglich ist.

Die Forschungsfragen und Hypothesen des PubBias-Projektes wurden vor der Analyse der Metadaten auf dem Open Science Framework präregistriert (https://doi.org/10.17605/OSF.IO/B4QRP). Unter anderem nahmen die Wissenschaftler*innen des interdisziplinären Teams (Désirée Nießen, Caroline Poppa, Jessica Daikeler, Henning Silber, Bernd Weiß und David Richter) an, dass signifikante oder bestätigte Studienergebnisse überproportional häufiger als nicht signifikante oder entgegen den Hypothesen verlaufende Ergebnisse publiziert würden – ein Indiz für Publikationsbias. Weiterhin wollten sie untersuchen, wie häufig neue, nicht in den Forschungsanträgen eingereichte Hypothesen in Publikationen vorkommen würden und wie häufig eingereichte Hypothesen selektiv publiziert würden. Die Ergebnisse zu diesen Fragen wurden in einer ersten deskriptiven Publikation festgehalten (Poppa et al., 2026, PsyArXiv Preprint). In einer zweiten, darauf aufbauenden Publikation konzentrierte sich das PubBias-Team auf Risikofaktoren, die zu Publikationsbias führen (Nießen et al., 2025, PsyArXiv Preprint). Dafür wurde zwischen Faktoren auf der Forschenden-Ebene (z. B. Studiendesign oder Drittmittelförderung) und Faktoren auf der Ebene des wissenschaftlichen Publikationssystems (z. B. Publikationstyp oder Journalmerkmale) unterschieden. Für diese zweite Publikation wurde Publikationsbias anhand von drei Indikatoren gemessen: der Publikationswahrscheinlichkeit einer Studie, der Test-Rate der ursprünglich eingereichten Hypothesen einer Studie (also wie groß/klein der Prozentsatz an getesteten Hypothesen war) und der Hit-Rate (also dem Anteil der publizierten Hypothesen, der als signifikant oder bestätigend berichtet wurde) einer Studie.

Zentrale Ergebnisse

Die Ergebnisse der ersten Publikation (Poppa et al., 2026, PsyArXiv Preprint) zeigen Hinweise auf Publikationsbias auf verschiedenen Ebenen. Die Nicht-Publikation von Studien war häufig: Im Durchschnitt mehr als sechs Jahre nach Freigabe der Studiendaten waren 56% der Studien nicht in einer wissenschaftlichen Fachzeitschrift veröffentlicht. Insgesamt wurden 44% der Studien in einer wissenschaftlichen Fachzeitschrift veröffentlicht und 12% der Studien auf anderen, nicht begutachteten Wegen (sog. graue Literatur), wie beispielsweise in Dissertationen, Preprints, Arbeitspapieren oder Konferenzbeiträgen. Auf Hypothesenebene zeigten sich klare Muster für selektives Publizieren: So wurden mehr als 73% aller publizierten Hypothesen bestätigt, und mehr als 87% aller publizierten Studien unterstützten mindestens die Hälfte aller publizierten Hypothesen; 38% aller publizierten Studien unterstützten sogar alle ihre Hypothesen. Gleichzeitig beinhalteten weniger als 50% aller publizierten Studien Hypothesen, die im Forschungsantrag initial enthalten waren. Mehr als 95% aller publizierten Studien beinhalteten jedoch neue Hypothesen, die nicht initial eingereicht worden waren. Die geringe Publikationsrate von eingereichten Hypothesen, gepaart mit der hohen Prävalenz neuer (nicht eingereichter) Hypothesen und dem überdurchschnittlich hohen Anteil signifikanter oder bestätigter Hypothesen unter den publizierten Hypothesen, lässt auf eine Publikationsverzerrung schließen.

Faktoren, die Publikationsverzerrung beeinflussen

Die Ergebnisse der zweiten Publikation (Nießen et al., 2025, PsyArXiv Preprint) beleuchten zudem, welche Faktoren das Risiko für Publikationsbias erhöhen oder verringern. Besonders deutlich ist der Effekt von Drittmittelförderung: Studien mit externer Finanzierung hatten eine höhere Wahrscheinlichkeit, später publiziert zu werden. Gleichzeitig zeigen die Analysen, dass sich der Zusammenhang mit Publikationsbias unterscheidet, je nachdem, welcher der drei Indikatoren (grundsätzliche Publikationswahrscheinlichkeit der Studie, Test-Rate der Hypothesen oder Hit-Rate der publizierten Hypothesen) betrachtet wird. Denn innerhalb der bereits publizierten Studien zeigte sich auf der Hypothesenebene ein anderes Muster: Bei geförderten Studien wurde ein geringerer Anteil der ursprünglich eingereichten Hypothesen getestet (geringe Test-Rate), während ein größerer Anteil der berichteten Hypothesen auch bestätigte Hypothesen waren (hohe Hit-Rate). Diese Kombination von geringer Test-Rate und höherer Hit-Rate lässt auf selektives Berichten von nur unterstützten oder signifikanten Hypothesen schließen. Außerdem ergaben die Analysen einen Zusammenhang zwischen Studiendesign und Publikationswahrscheinlichkeit: Längsschnittliche Studien wurden häufiger veröffentlicht als Querschnittsstudien. Ein weiterer wichtiger Indikator für die Prävention von Publikationsbias war die Präregistrierung. Studien mit präregistrierten Hypothesen oder Analyseplänen berichteten ihre Hypothesen häufiger vollständig (hohe Test-Rate) und wiesen niedrigere Bestätigungsraten auf (niedrigere Hit-Rate). Dies deutet darauf hin, dass Studien, die eine Präregistrierung haben, mit geringerer selektiver Berichterstattung verbunden sind als Studien ohne Präregistrierung.

Letztlich deuten beide Publikationen des PubBias-Projekts darauf hin, dass der Grad und die Ausprägung des Publikationsbias zwischen wissenschaftlichen Disziplinen variiert. So zeigte die erste Publikation (Poppa et al., 2026, PsyArXiv Preprint), dass psychologische Studien am häufigsten und im Durchschnitt am meisten publiziert wurden: mehr als ein Paper pro Studie. Im Gegensatz dazu wurden wirtschafts- oder surveywissenschaftliche Studien deutlich weniger häufig publiziert (42% und 35%). Auch die Art der Publikation unterschied sich stark je nach Disziplin. In der Psychologie produzierte die Mehrheit der Studien Publikationen in wissenschaftlichen Fachzeitschriften (90% der publizierten Studien), während in der Wirtschaftswissenschaft 41% aller publizierten Studien ausschließlich graue Literatur produzierten. Gleichzeitig zeigten die Analysen der zweiten Publikation (Nießen et al., 2025, PsyArXiv Preprint) auch, dass die Wirtschaftswissenschaften eine vergleichsweise hohe Publikations- und Testquote hatten, während in anderen Disziplinen teilweise stärkere Hinweise auf selektive Berichterstattung beobachtet wurden (niedrigere Test-Raten und häufigere Nicht-Publikation auf Studienebene). Publikationsbias ist somit kein einheitliches Phänomen, sondern hängt stark vom jeweiligen wissenschaftlichen Kontext ab.

Implikation für die wissenschaftliche Praxis

Aufgrund der eindeutigen Ergebnisse zu Publikationsverzerrung durch Nicht-Publikation und selektive Publikation betonen die Autoren den dringenden Bedarf an strukturellen Reformen im Wissenschaftssystem. Förderorganisationen und wissenschaftliche Institutionen sollten stärker Transparenz und Open-Science-Praktiken belohnen, etwa durch flächendeckendere Präregistrierungsanforderungen, mandatorische Datenzugänglichkeit oder die Veröffentlichung von Nullergebnissen, z. B. durch vorherige Veröffentlichungszusagen (siehe Registered Reports). Vor allem jedoch sollte der Publikationsdruck weg von hochsignifikanten Ergebnissen und großen Effekten hin zu einer Entstigmatisierung nicht signifikanter Ergebnisse bzw. Null- Ergebnisse, zu wissenschaftlicher Integrität sowie transparent durchgeführten Studien gehen. Auch die Bewertung wissenschaftlicher Leistungen sollte über traditionelle Kennzahlen wie Publikationszahl oder Zitationen hinausgehen und stärker Aspekte wie Reproduzierbarkeit und Forschungsintegrität berücksichtigen.

Limitationen und nächste Schritte

Die Forschenden weisen darauf hin, dass ihre Ergebnisse auf einer speziellen Stichprobe von 178 Studien aus zwei deutschen Panelinfrastrukturen basieren und daher nicht ohne Weiteres repräsentativ für alle wissenschaftliche Disziplinen und Länder sind. Zukünftige Publikationen des PubBias-Projekts werden die Perspektive der Wissenschaftler selbst miteinbeziehen, da allen Autor der 178 Forschungsanträge die Möglichkeit gegeben wurde, an einem Survey zu Publikationserfahrungen in der Wissenschaft teilzunehmen. Der Survey, der eigens von dem PubBias-Team entwickelt wurde, wird momentan ausgewertet und soll Erkenntnisse zu Open-Science-Einstellungen, Publikationshürden im akademischen Alltag, Risikofaktoren für das Nichtpublizieren auf Autorenebene (beispielsweise aufgrund von Geschlecht, akademischer Seniorität oder Elternschaft) und Gründen für Nichtpublikation der einzelnen Studien geben.

Dieser Beitrag basiert auf folgenden Preprint Publikationen, die sich noch im Review befinden:

Poppa, C., Nießen, D., Daikeler, J., Silber, H., Weiß, B., & Richter, D. (2026). The Tip of the Iceberg? Insights Into the Prevalence of Publication Bias in Two Probability-Based Academic Panels. PsyArXiv.
https://doi.org/10.31234/osf.io/bj3g9_v2

Nießen, D., Poppa, C., Daikeler, J., Silber, H., Weiß, B., & Richter, D. (2025). Actor-Driven Risk Factors of Publication Bias: Opening the File Drawer of Two Probabilistic Panel Surveys. https://doi.org/10.31234/osf.io/phk3a_v1

Websiten des PubBias Projektes: PubBias – SHARE sowie PubBias – GESIS

Dieser Beitrag wurde mit Unterstützung der Projektautoren von PubBias verfasst. Die Editierung hat Dr. Sophie Zervos unter Zuhilfenahme von ChatGPT 4.1 vorgenommen.