Wirksame Kontrollmaßnahmen in der SARS-CoV-2-Pandemie?

Kürzlich veröffentlichte das Robert-Koch-Institut (RKI) den Abschlussbericht zur „StopptCOVID“-Studie mit dem Titel „Wirksamkeit und Wirkung von anti-epidemischen Maßnahmen auf die COVID-19-Pandemie in Deutschland“ (1). Die Autor:innen kommen zu dem Schluss, dass die nicht-pharmakologischen Maßnahmen insgesamt wesentlich zur Pandemiebewältigung beigetragen hätten. Auch weniger stark eingreifende Maßnahmen wie Hygienekonzepte oder die Begrenzung der Personenzahl bei öffentlichen Veranstaltungen hätten eine deutliche Wirkung gezeigt. Intensivierungen hätten zu einer stärkeren Reduktion der COVID-19-Ausbreitung geführt. Die Reduktion hätte sich dabei bereits vor Inkrafttreten der Maßnahmen gezeigt.

Die mit der „StopptCovid-Studie“ vorgelegte Untersuchung ist eine Selbstevaluation, denn das RKI hatte als dem Bundesministerium für Gesundheit unterstellte Behörde während der Pandemie regelmäßig Risikobewertungen und Empfehlungen zum Infektionsschutz abgegeben, wie unter anderem zur Maskenpflicht, zu Abstandsregelungen und Schulschließungen.

Die „StopptCOVID“-Studie beansprucht für sich, die Effekte einer komplexen Intervention zur Pandemiekontrolle in einem komplexen System zu evaluieren. Daher müssen an den RKI-Bericht auch die Kriterien der evidenzbasierten Medizin zur kritischen Beurteilung von Interventionsstudien angelegt werden dürfen.

Gute Wissenschaftskultur nicht berücksichtigt

Gemäß etabliertem Standard der evidenzbasierten Medizin wäre ein auf einem zugänglichen Protokoll basiertes Vorgehen zu erwarten gewesen sowie die transparente Berichterstattung unter Berücksichtigung eines internationalen Reporting Statements. Tatsächlich handelt es sich jedoch um eine hauseigene RKI-Schrift, die ohne externes Begutachtungsverfahren veröffentlicht wurde.

Im Bericht findet sich kein Hinweis, die Daten und das Modell frei zugänglich verfügbar zu machen. Unabhängige Gruppen können die Analysen somit bislang nicht reproduzieren oder replizieren.

Demgegenüber hat die Deutsche Forschungsgemeinschaft (DFG) Open Science, wo immer möglich, zum Teil der Wissenschaftskultur und Bestandteil guter wissenschaftlicher Praxis erklärt (2).

„Garbage in – garbage out“

Die Autor:innen des Berichts stellen die Frage nach der Effektivität von verordneten nicht-pharmakologischen Maßnahmen hinsichtlich der Verringerung der Covid-19-Inzidenz. Diese Frage kann jedoch mit dem gewählten Vorgehen der Modellierung retrospektiver Daten und Regressionsanalysen nicht beantwortet werden. Belastbare Aussagen über Ursache-Wirkungszusammenhänge sollten sich idealerweise auf kontrollierte Studien stützen.

Schon wegen der Datengrundlage ist das methodische Vorgehen der Fragestellung nach der Wirksamkeit und einer Kausal­attribuierung nicht angemessen. Vielmehr können nur Zusammenhänge untersucht werden, denen zahlreiche fehleranfällige Annahmen und Festlegungen zugrunde liegen.

Die in das Modell einfließenden Inzidenzen sind nicht zuverlässig und nicht Protokoll-gestützt prospektiv erhoben. Dass es in Deutschland nicht gelungen ist, valide Daten in der SARS-CoV-2-Pandemie zu erheben und hochwertige Studien umzusetzen, ist breit wissenschaftlich und öffentlich thematisiert worden und wurde nicht zuletzt vom Sachverständigenrat zur Evaluation des Infektionsschutzgesetzes kritisiert (3).

Zweifelhafte Ergebnisse zum R-Wert

Der Endpunkt – die Verringerung der Covid-19-Inzidenz – wird in der „StopptCOVID“-Studie mittels effektivem Reproduktionswert (R-Wert) operationalisiert. Mit anderen Worten: Die Auswirkungen der Maßnahmen auf das Infektionsgeschehen wurden anhand der Entwicklung des R-Werts geschätzt. Der R-Wert bringt tagesaktuell zum Ausdruck, wie viele Menschen eine an diesem Tag infizierte Person im Durchschnitt während der infektiösen Phase infiziert.

Eine entscheidende Schwachstelle des Regressionsmodells besteht jedoch darin, dass es die Veränderungen des R-Werts ausschließlich den nicht-pharmakologischen Maßnahmen, der Impfung und der Saisonalität zuschreibt.

Es ignoriert verschiedene Heterogenitätseffekte (Kontaktmuster, alltagsübergreifende Kontakte, individuelle Variationen in Suszeptibilität und Infektiosität, räumliche Dynamik), die ohne weiteres Zutun Änderungen im R-Wert bewirken können. Ohne Quantifizierung des Einflusses besteht daher die Gefahr, den nicht-pharmakologischen Maßnahmen fälschlicherweise und systematisch Effekte zuzuschreiben.

Darüber hinaus wäre aus verschiedenen, hier nur exemplarisch ausgeführten Gründen eine kritischere Diskussion der angegebenen statistischen Unsicherheitsbereiche (95 %-Konfidenz­intervalle) nötig gewesen.

So berücksichtigt das Regressionsmodell nicht den möglichen Einfluss von Autokorrelationen. Damit ist gemeint, dass Messungen zu verschiedenen Zeitpunkten nicht unabhängig voneinander sind, und beispielsweise in Zeiträumen mit vielen Ansteckungen (hohen R-Werten) an einem Tag auch an den nächsten Tagen mit tendenziell höheren R-Werten zu rechnen ist.

Ohne Berücksichtigung von Autokorrelation können die Konfidenzintervalle der Effektschätzer der einzelnen Maßnahmen deutlich zu eng ausfallen und damit Assoziationen zwischen Maßnahmen und R-Werten fälschlicherweise als „signifikant“ gesehen werden.

Ebenso unterbleibt in der „StopptCovid-Studie“ eine Robustheitsanalyse zu Unsicherheiten in der Übertragbarkeit der Alpha- und Delta-Variante. Die Erhöhung des R-Werts für diese Varianten wird (ohne Quellenangabe) auf exakt 30 % bzw. 60 % gesetzt, obwohl Unsicherheiten in diesen Werten zwangsläufig die Schätzung der Ergebnisse beeinflussen.

Daneben finden sich noch weitere Inkonsistenzen und Auffälligkeiten, die zu sorglos hingenommen werden. So diagnostiziert das Regressionsmodell eine Erhöhung (!) des R-Werts bei Erwachsenen und eine Absenkung bei Kindern in der Folge von Home-Office-Regelungen und Hygienemaßnahmen am Arbeitsplatz. Die Autor:innen bemerken zwar die paradoxe Wirkung dieser Maßnahmen bei Erwachsenen. Nicht erörtert wird aber, dass das Regressionsmodell gar keine altersübergreifenden Infektionen vorsieht und solche Einflüsse quer über Altersgruppen daher von vornherein nicht adäquat quantifizieren kann.

Public Health relevanter Endpunkt wäre notwendig anstatt R-Wert

Fernab der biometrisch-mathematischen Überlegungen zum R-Wert war doch das politische und gesundheitswissenschaftliche Ziel der Maßnahmen zur Kontrolle der SARS-CoV-2-Pandemie, eine Überlastung des Gesundheitssystems zu verhindern. Dies wurde oft und deutlich in den Medien transportiert (4). Trotz seiner Bedeutung für die Infektionsdynamik ist der R-Wert kein validierter Surrogatparameter für den gesellschaftlich (Public Health) relevanten Endpunkt. Wie hingegen der Endpunkt „Verhinderung der Überlastung des Gesundheitswesens“ erhoben werden kann, ist eine eigene Fragestellung. Kollateraleffekte der Pandemiekontrollmaßnahmen wie Reduktion der Fallzahlen im Gesundheitswesen durch Aussetzen elektiver Eingriffe und nicht-akuter Versorgung, um Kapazität für die Behandlung von Covid-19-Erkrankten zu schaffen, müssten berücksichtigt werden. Ferner bleiben die Nebenwirkungen (erwünschte und unerwünschte) der Pandemiekontrollmaßnahmen gemäß wissenschaftlichem Standard gesundheitsbezogener Interventionsstudien (5) unbedingt zu berücksichtigen. In der „StopptCovid“-Studie sind die Nebenwirkungen jedoch nicht als Endpunkte definiert. Auch eine Evaluation der Kosten ist nicht berücksichtigt oder angekündigt für weitergehende Analysen.

Ungültige Schlussfolgerungen

Die Autor:innen schlussfolgern, dass die nicht-pharmakologischen Maßnahmen wesentlich zur Bekämpfung der Pandemie beigetragen hätten und die Überlastung des Gesundheitssystems bis zur Entwicklung wirksamer Impfstoffe verhindert hätten.

Diese Aussage ist eben nur eine Behauptung, die nicht durch die Analyse gestützt ist. Nichts mehr ist auch die Mutmaßung, dass freiwillige Verhaltensanpassungen bereits vor Inkrafttreten der Maßnahmen der Pandemiekontrolle eine Auswirkung auf das Pandemiegeschehen gehabt hätten. Die mediale Berichterstattung und öffentliche Diskussion hätten eine besondere Rolle eingenommen (1). Diese Spekulation zur Erklärung eines paradoxen Ergebnisses lässt begriffliche Schärfe vermissen und ist auf Basis der analysierten Daten nicht empirisch fundiert.

Dem Bericht mangelt es an einer kritischen Diskussion der gewählten Methodik und an der kritischen Würdigung der Ergebnisse. Außerdem fehlt es der Berichterstattung an einer Einbettung in den internationalen Stand des Wissens.

In der Gesamtschau handelt es sich um einen geradezu erstaunlichen Bericht, der sich weit entfernt von den gültigen wissenschaftskulturellen Standards und den Kriterien der evidenzbasierten Medizin bewegt. Das gewählte Vorgehen ist ungeeignet, einen Nachweis der Auswirkungen der Pandemiekontrollmaßnahmen zu erbringen. Bürger:innen und Wissenschaftler:innen sollten sich nicht mit unzulänglichen Analysen zufriedengeben. Eine Aufbereitung auf Basis eines hochwertigen, breit konsentierten Protokolls ist nötig. Diese sollte bestenfalls Teil einer kritischen und konstruktiven Pandemieaufarbeitung sein (6)