Spin Bias: Der einseitige Dreh an Studienergebnissen

Barakat et al. (2022) zeigen, dass kausale Sprache in Beobachtungsstudien häufig verwendet wird, obwohl solche Studien aufgrund ihres Designs keine kausalen Zusammenhänge belegen können. In ihrer Untersuchung wurden 116 Beobachtungsstudien zu Hüft- und Knieendoprothetik analysiert, die 2020 in vier orthopädischen Fachzeitschriften veröffentlicht wurden. 79% der Titel und Abstracts verwendeten konsistent kausale oder inkonsistent kausale Sprache, während 21% konsequent nichtkausal formuliert waren. In den Volltexten fanden sich 41% der Studien mit durchgängig kausaler Sprache, 49% mit inkonsistenter kausaler Sprache und nur 10% mit vollständig nichtkausaler Ausdrucksweise [4].

Eine weitere Untersuchung von Kim et al. (2023) bestätigt diese Problematik auch in Beobachtungsstudien zur DIEP-Rekonstruktion, einer Methode der Brustrekonstruktion nach einer Mastektomie, bei der körpereigenes Gewebe aus dem Unterbauch unter Schonung der Bauchmuskulatur verwendet wird. In einer systematischen Analyse von 77 Studien, die zwischen 2015 und 2022 veröffentlicht wurden, wurde eine Spin-Prävalenz von 87% festgestellt. Besonders häufig wurden kausale Sprache oder Behauptungen (53%) eingesetzt, gefolgt von unangemessener Verallgemeinerung auf größere Populationen (35%). Auch der Verzicht auf eine angemessene Berücksichtigung von Limitationen (27%) trug zu dieser hohen Prävalenz bei [5].

Darüber hinaus kann der Spin Bias möglicherweise auch Gesundheitsentscheidungen durch die Interpretation von Studienergebnissen beeinflussen, wenn beispielsweise Risiken nicht kommuniziert werden oder die Vorteile von Behandlungsoptionen übertrieben dargestellt werden [6], [7], [8], [9] (siehe Abbildung für ein fiktives Beispiel mit Gegenüberstellung).

Allerdings gibt es in der wissenschaftlichen Community durchaus schon länger Bewegung zu der Frage, wann das Vertrauen in die Evidenz aus Beobachtungsstudien sicherer ist. So kann es in der Beurteilung von Beobachtungsstudien nach GRADE (Grading of Recommendations Assessment, Development and Evaluation) hinsichtlich der Einschätzung des Vertrauens in die Evidenz und der Stärke von Empfehlungen in beispielsweise Leitlinien oder systematischen Übersichtsarbeiten zu einer Heraufstufung der Qualität der Evidenz kommen, wenn entsprechende Kriterien (zum Beispiel mindestens zweifache Reduktion oder Anstieg des Risikos ohne plausible Störfaktoren [10]) erfüllt werden [11]. Im JAMA ist die Nutzung von kausaler Sprache derzeitig ausschließlich für den Bericht von klinischen Studien vorgesehen. Eine kürzlich erschienene Publikation in diesem Journal hat nun ein Framework zur Frage publiziert, ob und wie die kausale Sprache bei der Beschreibung von Beobachtungsstudien verwendet werden kann [12].

Beispiel zum Spin Bias

Anhand der Analyse von Pörschmann (2023) [1] zu ernährungsbedingten Risikofaktoren für kardiovaskuläre Mortalität in 54 Ländern der WHO-Region Europa verdeutlichen wir beispielhaft, wie Spin Bias von der ursprünglichen Publikation über die Pressemitteilung bis zur medialen Weiterverarbeitung entstehen kann.

In dieser Studie wurden Zusammenhänge zwischen spezifischen Ernährungsrisiken und Herz-Kreislauf-Erkrankungen (CVDs) untersucht. Die Studie basiert auf einer Sekundäranalyse der Global Burden of Disease (GBD)-Studie und ist somit eine klassische Beobachtungsstudie. Laut Pörschmann et al. sind im Jahr 2019 in der WHO-Region Europa 1,55 Millionen Todesfälle (95 % UI, 1,2-1,9 Millionen) auf Herz-Kreislauf-Erkrankungen, begünstigt durch eine suboptimale Ernährung, zurückzuführen. Diese ernährungsbedingten CVD-Todesfälle (DRCDs) machten laut den Autoren 16% aller Todesfälle und 38% der CVD-bedingten Todesfälle aus.

Um den Anteil ernährungsbedingter Todesfälle in der WHO-Region Europa zu berechnen, nutzte die Studie das Comparative-Risk-Assessment (CRA)-Modell der Global-Burden-of-Disease (GBD)-Studie, das 13 spezifische Ernährungsrisiken und 13 kardiovaskuläre Erkrankungen berücksichtigt. Die analysierten Ernährungsrisiken umfassen unter anderem eine geringe Aufnahme von Vollkornprodukten und Hülsenfrüchten sowie eine hohe Natriumaufnahme.

Alle Ernährungsdaten beruhen jedoch auf Eigenangaben der Probanden, deren Genauigkeit nicht über­prüft werden konnte. Diese Datengrundlage weist daher Unsicherheiten auf, die die Ergebnisse beeinflussen könnten. Die Risiken wurden in vier Regionen und 54 Ländern der WHO-Region Europa in Verbindung mit den jeweiligen Todesfällen analysiert.

Die Methodik berücksichtigt Anpassungen, um Überlappungen zwischen Ernährungsrisiken zu minimieren, kann jedoch nicht alle potenziellen Störfaktoren (sogenannte Confounder) wie sozioökonomische Bedingungen, psychische Gesundheit oder Lebensstilfaktoren erfassen. Die Todeszahlen und altersstandardisierten Sterberaten wurden auf Grundlage nationaler und subnationaler Daten berechnet und in einem 95%-Unsicherheitsintervall (UI) dargestellt, um die Präzision der Schätzungen widerzuspiegeln.

Statt potenzielle Korrelationen zu beschreiben, die zur Hypothesenbildung dienen könnten, suggeriert die Studie an mehreren Stellen kausale Zusammenhänge, die jedoch wissenschaftlich nicht nachweisbar sind.
So könnte fälschlicherweise der Eindruck erweckt werden, dass eine kausale Beziehung zwischen einzelnen Ernährungsfaktoren und CVD-Todesfällen besteht, da Formulierungen kausaler Sprache verwendet werden. Ein Beispiel hierfür ist der Satz: „In terms of CVD deaths in the WHO ER, more than every third death is attributable to an unbalanced diet, making the diet one of the most important factors in preventing premature CVD death in the WHO ER.” Der Ausdruck „is attributable to“ wird laut Thapa et al. (2020) als kausale Sprache eingestuft [13], da er suggeriert, dass Ernährung unmittelbar für die Todesfälle verantwortlich sei.

Tatsächlich handelt es sich jedoch lediglich um Assoziationen, die von vielen weiteren Faktoren beeinflusst werden könnten, darunter Genetik, sozioökonomische Bedingungen oder andere Lebensstilfaktoren, die in derartigen Modellen nicht vollständig abgebildet werden können. Solche Formulierungen vereinfachen komplexe Zusammenhänge und können irreführend sein, da sie eine kausale Beziehung nahelegen, die wissenschaftlich nicht belegt ist. Eine präzise Kommunikation würde Begriffe wie „könnte mitverantwortlich sein“ oder „potenzieller Zusammenhang“ nutzen, um die Unsicherheiten klarer zu machen.
Insgesamt bieten die Ergebnisse der Studie wichtige Hinweise für die Hypothesenbildung zu ernährungsbedingten Risikofaktoren, ohne jedoch kausale Zusammenhänge zu belegen.

An dem Beispiel lässt sich zudem sehr gut aufzeigen, wie es dann in der Kommunikation der Studien zur Weiterführung des Spin Bias kommt. Das Deutsche Ärzteblatt gibt dem Beitrag zum Artikel eindeutig eine Portion Spin mit: „Jeder dritte kardiovaskuläre Todesfall geht auf falsche Ernährung zurück“ (Titel) [14]. Der Titel fußt vermutlich auf der Pressemitteilung der Friedrich-Schiller-Universität Jena, die den gleichen Titel trägt [15]. Im Untertitel wird der Begriff Zusammenhang genutzt, im Artikel ist es unterschiedlich. Die zitierte Erstautorin Theresa Pörschmann spricht im Verlauf des Beitrages beispielsweise passend von Assoziationen, während im Einleitungssatz eine kausale Sprache genutzt wird. Ein weiterer Autor der Studie [1], der Ernährungswissenschaftler Prof. Stefan Lorkowski, hat in einem Interview für den Ärztenachrichtendienst eine eindeutig kausale Formulierung genutzt, um auf die Frage „Zu welchen Ergebnissen kamen Sie bei der Auswertung?“ wie folgt zu antworten: „Zu durchaus besorgniserregenden Ergebnissen! Denn unsere Datenauswertungen ergaben, dass eine falsche Ernährung einen gesundheitlichen Schaden verursacht, der jedem dritten vorzeitigen kardiovaskulären Todesfall entspricht, wobei es hier durchaus länderspezifische Unterschiede gibt, bei einem deutlichen Süd-Nord- und West-Ost-Gefälle.“ Nach diesem starken Eingangsstatement nutzt der Autor im weiteren Verlauf des Interviews eher Begrifflichkeiten, die dem Studiendesign entsprechen [16].

Die Pressemitteilung wurde breit aufgegriffen, ein gewisser Spin ist aber überall zu finden. Auch in der Fachzeitschrift Ernährungs Umschau (Ausgabe 6/2024) wurde die Studie thematisiert, allerdings ohne diese kritisch zu hinterfragen [17]. Der Artikel übernahm die Ergebnisse weitgehend unkommentiert und fokussierte sich auf die ernährungsbedingten Risiken und Todesfälle. Die fehlende Differenzierung zwischen Assoziation und Kausalität zeigt, dass die wissenschaftliche Kommunikation oft unreflektiert bleibt. Dies unterstreicht, wie leicht der Spin Bias in der medialen und wissenschaftlichen Berichterstattung weitergetragen wird.

Spin Bias in Pressemitteilungen und der medialen Welt

Die Wichtigkeit für die Sensibilisierung und ggf. Trainings zur Interpretation und Kommunikation von wissenschaftlichen Daten zeigt eine Analyse von 176 Schlagzeilen der Rubrik „News“ vom Deutschen Ärzteblatt. Die Untersuchung fand Übertreibungen in 45% (80/176) der Schlagzeilen im Vergleich zu den Schlussfolgerungen des entsprechenden Zeitschriftenartikels [12]. Fünfundsechzig von 137 unbedingten kausalen Aussagen der Schlagzeilen waren im anschließenden Nachrichtentext schwächer formuliert.

Von den 100 Schlagzeilen, zu denen es eine entsprechende Pressemitteilung gab, wurden 78 als uneingeschränkt kausal eingestuft. Ein Beispiel hierfür ist die Schlagzeile „Kaffeetrinker leben länger“ aus dem Deutschen Ärzteblatt [18]. Während die Überschrift eine kausale Aussage suggeriert, wird im Artikeltext klargestellt, dass es sich lediglich um eine Assoziation handelt. O’Leary et al. 2023 haben kürzlich ihre Technik zur Identifizierung von Spin Bias im Rahmen einer Systematischen Übersichtsarbeit publiziert [19].

In einem Artikel für das „Oxford Centre for Evidence-Based Medicine“ beschreibt Kamal Mahtani, dass für viele Forscher die Anzahl der Veröffentlichungen und die Wirkung dieser Veröffentlichungen die übliche Währung ist, um ihren beruflichen Wert zu messen. Dazu gehört vermehrt auch die Diskussion der Arbeit in der Öffentlichkeit über Mainstream- und soziale Medien [20].

Besonders Pressemitteilungen scheinen sich hier für eine schmückende und motivierende Sprache zu eignen. Eine Kohortenstudie zu onkologischen Studien hat sich angeschaut, welche Faktoren mit medialer Aufmerksamkeit assoziiert waren [21]. Zu den wichtigsten Einflussfaktoren für eine hohe Online-Medienaufmerksamkeit zählten das Vorhandensein einer Pressemitteilung und der Impact-Faktor der Fachzeitschrift. Es gab keine Hinweise darauf, dass ein Studiendesign mit hohem Evidenzgrad und die Art der Schlussfolgerung im Abstrakt mit einer hohen Online-Medienaufmerksamkeit assoziiert waren.

Insgesamt zeigt sich, wie wichtig es ist, besonders die Artikel, die für die Verbreitung in der medialen Welt gedacht sind und somit potenziell von allen Zielgruppen gelesen und weiterverbreitet werden, hinsichtlich des Auftretens des Spin Bias zu prüfen [22].