Problematische Studien erkennen: Der Fall Ivermectin

Mehr Patient:innen als gemeldete Covid-Fälle, merkwürdige Dopplungen in den Daten, offensichtliche Widersprüche: Wenn das in einer wissenschaftlichen Veröffentlichung auffällt, liegt der Verdacht nah, dass es in der Studie nicht mit rechten Dingen zugegangen ist.

Das ist in der medizinischen Wissenschaft kein ganz neues Phänomen, aber besonders im Kontext der Corona-Pandemie in den Fokus der Aufmerksamkeit gerückt. Das Online-Portal Rectraction Watch verfolgt auf seiner Website Publikationen zu SARS-CoV-2 und Covid-19, die zurückgezogen wurden. Stand: 315, Tendenz steigend. Hinzu kommen einige Veröffentlichungen mit einem „expression of concern“: Dabei hat das Herausgeber-Team der Zeitschrift zwar Hinweise auf Unregelmäßigkeiten erhalten, die Untersuchungen laufen aber noch (1).

Von Schlamperei bis Fälschung

Viele der Fälle sind unterschiedlich gelagert: Mal sind es Fehler, die auch aufrichtigen Wissenschaftler:innen unter Zeitdruck passieren können, manchmal mangelnde Sorgfalt oder Verstöße gegen ethische Grundsätze. Allerdings spielen gelegentlich auch gefälschte oder nicht-verifizierbare Daten eine Rolle.

Solche Probleme beschränken sich übrigens nicht auf Veröffentlichungen auf Preprint-Servern, sondern können durchaus auch in renommierten Journals mit Peer Review passieren. Davon zeugte nicht zuletzt der „Surgisphere“-Skandal 2020 im New England Journal of Medicine (2) und im Lancet (3). Die Publikationen wurden zurückgezogen, nachdem andere Wissenschaftler:innen Ungereimtheiten festgestellt hatten. Die Autorenteams gaben schließlich an, die Primärdaten, die ein kommerzieller Datenhändler aus elektronischen Gesundheitsakten zusammengestellt hatte, nie unabhängig überprüft zu haben (4).

Über die Gründe für schlechte Wissenschaft ist vielfältig diskutiert worden, genannt wird nicht zuletzt der hohe Zeitdruck durch die enorme Krankheitslast mit einem Virus, über das zu Beginn der Pandemie wenig bekannt war (5). Fest steht aber auch: Bis Publikationen solcher Studien zurückgezogen werden, vergeht oft viel Zeit (6).

Verzerrtes Wissen

Dieses Problem ist kein akademischer Schönheitsfehler, sondern höchst relevant für die evidenzbasierte Gesundheitsversorgung. Und wenn die Ergebnisse der Untersuchungen bereits Eingang in systematischen Übersichtsarbeiten oder Leitlinien gefunden haben, wird es besonders problematisch. Deshalb müssen die Verantwortlichen sicherstellen, dass die Auswertungen korrigiert werden. Passiert das nicht oder nicht schnell genug, zirkulieren irreführende verzerrte Analysen. Im schlechtesten Fall erhalten Patient:innen auf dieser Basis unwirksame oder sogar schädliche Therapien.

Allerdings wurden in der Vergangenheit systematische Reviews und Leitlinien oft nicht zeitnah überarbeitet, wenn Studien zurückgezogen wurden (7,8). Für Reviews des internationalen Forschungsnetzwerks Cochrane gibt es inzwischen eine entsprechende Handreichung für die Autor:innen-Teams (9).

Ivermectin bei Covid-19?

Was aber, wenn Ungereimtheiten in Studien erst gar nicht auffallen? Fachleute vermuten, dass zurückgezogene Publikationen nur die Spitze des Eisbergs bilden (6). Wie können die Autor:innen von systematischen Reviews dann bereits bei der Erstellung der Übersichtsarbeiten fragwürdige, fehlerhafte oder gar mutmaßlich gefälschte Studien identifizieren? Mit dieser Frage hat sich ein Cochrane-Team beschäftigt. Und es ist vermutlich kein Zufall, dass daran auch Autor:innen des Cochrane-Reviews zu Ivermectin bei Covid-19 beteiligt waren.

Denn in der Liste mit zurückgezogenen Publikationen im Kontext von Covid-19 sticht dieser Wirkstoff besonders heraus. Das antiparasitäre Mittel wurde von einigen Staaten, etwa Peru, zu Beginn der Pandemie offiziell zum Schutz vor einer Infektion oder zur Behandlung von Covid-19 empfohlen – basierend auf vermeintlich positiven Studien. Weil durch den Hype Menschen auch zu überdosierten Tierarzneimitteln griffen, sah sich die US-amerikanische Zulassungsbehörde FDA im August 2021 zu einem ungewöhnlichen Tweet veranlasst: „You are not a horse. You are not a cow. Seriously, y'all. Stop it.“ (10)

Verdächtige Anzeichen

Das Cochrane-Team hat auf der Basis einer Expertenbefragung (11) und bereits bestehender Checklisten zur Prüfung der wissenschaftlichen Integrität (12,13) ein Tool entwickelt, mit dem sich Anzeichen für möglicherweise problematische Studien erkennen lassen (14). Dazu gehören etwa:

• Die Studie ist nicht in einem Studienregister verzeichnet, die ersten Patient:innen wurden bereits vor der Registrierung in die Studie aufgenommen oder es gibt in dieser Hinsicht Widersprüche zwischen dem Registereintrag und der Publikation.

• Bei Studien mit menschlichen Probanden fehlen ausreichende Angaben zur Genehmigung durch ein Ethikkomitee.

• Angaben zu den Autor:innen der Publikation sind nicht plausibel, oder es gibt Diskrepanzen, etwa bei den Institutionen, zu denen sie gehören.

• Die Beschreibung der Methoden bleibt vage oder ist unplausibel, etwa bei der Zuordnung von Studienteilnehmenden auf die Vergleichsgruppen.

• Die Ergebnisse sind nicht plausibel, etwa was die Anzahl der rekrutierten Teilnehmenden innerhalb eines bestimmten Zeitfensters angeht, bei übergroßer Ähnlichkeit der Vergleichsgruppen zu Beginn der Studie, Widersprüchen zwischen Text, Tabellen und Abbildungen, offensichtlichen Rechenfehlern oder einem auffällig guten Behandlungserfolg.

Allerdings lässt sich auf dieser Basis oft nicht eindeutig entscheiden, ob Daten wirklich fehlerhaft oder gar gefälscht sind. Für Forschende ergeben sich aber weitere Optionen: So sind Cochrane-Teams angehalten, in solchen Fällen bei den Studienautor:innen nachzufragen oder – wenn das zu keinem zufriedenstellenden Ergebnis führt – auch die Herausgeber der betreffenden Journals zu kontaktieren. Identifiziert das Team Studien als möglicherweise problematisch, werden diese in den systematischen Übersichtsarbeiten in einem separaten Abschnitt gelistet und vorerst nicht eingeschlossen („studies awaiting classification“), bis die offenen Fragen geklärt sind (9).

Was nützt Ivermectin?

Beim Update der Übersichtsarbeit zu Ivermectin prüfte das Cochrane-Team mit Hilfe des Tools auch Studien, die es in der ersten Fassung des Reviews berücksichtigt hatte. Elf Studien bestanden den Check nicht und wurden für das Update ausgeschlossen. Auf der Basis der verbleibenden elf Studien kam der systematische Review zu dem Ergebnis, dass bei Covid-19-Patient:innen, die nicht im Krankenhaus behandelt werden müssen, Ivermectin vermutlich keinen relevanten Nutzen hat. Bei schweren Verläufen ist ein Nutzen bisher ebenfalls nicht belegt (15).

Allerdings kursieren immer noch zahlreiche Übersichtsarbeiten, die Ivermectin bei Covid-19 propagieren. Die Reviews sind häufig von schlechter methodischer Qualität und berücksichtigen die zahlreichen Probleme der eingeschlossenen Studien nicht oder nur unzureichend. Trotzdem haben sich die irreführenden Zusammenfassungen während der Pandemie rasant verbreitet, nicht zuletzt über Social Media (16,17).

DR. IRIS HINNEBURG
ist freie Journalistin. Sie schreibt für die journalistische Genossenschaft Riffreporter sowie für die Zeitschrift "Gute Pillen – Schlechte Pillen" und für "Medizin Transparent", ein Gesundheitsportal von Cochrane Österreich.