En metaanalyse, der konkluderer, at nedlukninger nærmest ikke reddede liv under første corona-bølge, har tidligere fået hård kritik af sundhedsvidenskabelige forskere på Videnskab.dk - her og her.
Nu kritiserer uafhængige økonomiprofessorer også analysen, som CEPOS-konsulent Jonas Herby og to medforfattere har fortalt om i medierne, før den er blevet fagfællebedømt og publiceret i et videnskabeligt tidsskrift.
Analysen dur ikke
Analysen er udkommet som et arbejdspapir fra et Johns Hopkins Institut i USA.
Men arbejdet er ikke blevet læst af uafhængige forskere, før det er blevet offentliggjort.
Da Jonas Herby var i Berlingske med sin konklusion om, at første nedlukning kun reddede fem danske liv, var analysen heller ikke kvalitetstjekket.
Det er et problem, for studierne, der er inkluderet i analysen, kan ikke bruges til at måle, hvor mange liv nedlukninger har sparet, siger Torben M. Andersen, der er professor i økonomi på Københavns Universitet.
»Det helt fundamentale problem er, at nedlukninger er tiltag, der bliver indført over en kort periode, hvor der sker alverdens ting samtidig. Virus spreder sig, forskellige lande indfører forskellige restriktioner, og befolkningen ændrer adfærd,« siger Torben M. Andersen.
»I den hastige proces, hvor der sker så meget samtidig, er det meget svært at trevle op, om den effekt, man måler - eller ikke måler - skyldes det ene eller det andet. Derfor skal man som forsker være meget ydmyg med at fortolke sine resultater,« fortsætter han.
\ Fagfællebedømmelse
I forskningsverdenen er det normal proces, at universitetsforskere kvalitetstjekker hinandens studier, før forfatterne går i pressen med dem.
Processen med fagfællebedømmelse er med til at sikre, at forskningen er til at stole på, og at den er udført rigtigt.
Læs om peer review processen i en tidligere artikel på Videnskab.dk.
»Det er jo bare dårlig forskning«
Samme vurdering kommer fra Jes Søgaard, der er professor i sundhedsøkonomi på Syddansk Universitet.
»Der er omkring 30 andre studier, jeg og mine kollegaer vurderer, at de burde have taget med for at lave en ordentlig analyse,« fortæller han.
Jes Søgaard er godt træt af arbejdspapiret, som han har brugt to dage på at gennemgå sammen med kollegaer fra Syddansk Universitets Interdisciplinære Center for Befolkningsdynamik.
»Som forsker hænger det mig ud af halsen, for det er jo bare dårlig forskning,« siger professoren.
En selektiv analyse
Jonas Herby har lavet analysen sammen med Steve H. Hanke, der er professor i økonomi på Cato Institute ved Johns Hopkins Universitet i Baltimore i USA og Lars Jonung, der er professor emeritus på Lund Universitet i Sverige.
De tre forfattere har udvalgt allerede publicerede studier, som, de mener, kan svare på spørgsmålet: Er der evidens for, at nedlukninger har en signifikant effekt på, hvor mange der dør af COVID-19?
I deres arbejdspapir skriver de tre, at de har gennemgået 18.590 studier, der har undersøgt effekten.
Efter en screening er de nået frem til, at 34 af studierne er egnede til at belyse spørgsmålet.
Men kun 7 af studierne indgår i den endelige analyse. Et af de syv tillægges nærmest al vægt, kan du læse i en tidligere artikel på Videnskab.dk.
De syv udvalgte studier er dog ikke velegnede til at dokumentere påstanden om, at nedlukninger nærmest ikke redder liv, siger Jes Søgaard og Torben M. Andersen.
Forklaringen følger.
Tager ikke højde for tidsfaktor
Når politikere under en pandemi indfører restriktioner, som samlet bliver betegnet som en nedlukning, er der en række forhold, som spiller ind på, hvor mange der dør, efter restriktionerne er trådt i kraft.
En af de væsentligste er tidspunktet, hvor nedlukningen sætter ind. Lande lukker ned, når smitten i samfundet er stigende. Det betyder, at der også efter restriktionerne er indført, vil være folk, som bliver alvorligt syge og dør.
»Vi ved, at der går tid, fra man er smittet, til man bliver alvorligt syg og i værste fald dør. Den tilsigtede hensigt med en nedlukning er at forsinke smittespredningen, fordi, man vurderer, det har en effekt på dødeligheden og på, hvor mange der bliver indlagt,« siger Torben Andersen.
»Men de studier, forfatterne baserer konklusionen på, tager ikke højde for tidsdimensionen,« tilføjer han.
Nul-resultat er forventet
Jes Søgaard forklarer, at den type studier, som indgår i analysen, næsten altid vil nå frem til et nul-resultat - altså at der ikke er en effekt af nedlukninger - netop fordi de ikke tager højde for, at antallet af døde må forventes at stige i tiden efter, at en nedlukning er trådt i kraft.
»Når dødeligheden stiger i tiden efter, at en nedlukning effektueres, bliver det i de statistiske beregninger opvejet af, at den falder efter et stykke tid, fordi restriktionerne begynder at virke. Det kaldes 'positiv selektionsbias',« siger Jes Søgaard.
De studier, der indgår i analysen, korrigerer ikke for selektionsbiasen, forklarer han.
»Når man måler summen af en positiv selektionsbias (øget dødelighed, red.) og en negativ virkning (faldende dødelighed, red.), bliver resultatet ofte tæt på 0.«
I forskningslitteraturen findes der studier, som på forskellig vis tager højde for den positive selektionsbias, siger Jes Søgaard. Men de studier er blevet frasorteret i analysen fra Hopkins Instituttet. Se faktaboksen.
\ Studierne i analysen betegnes forkert
Forfatterne bag arbejdspapiret fra John Hopkins beskriver de 34 inkluderede studier som såkaldte difference-in-difference studier (DiD). Det er studier, hvor forskere sammenligner et land med andre for at måle en effekt af et politisk tiltag som eksempelvis en nedlukning.
»Sådanne studier kan, hvis de er veludførte, reducere selektionsbiasen,« siger Jes Søgaard.
Men ifølge professoren er de fleste af de studier, der er inkluderet i analysen, slet ikke difference-in-difference-studier.
Det er derimod såkaldte panel-regressions-studier, hvor forskerne tager udgangspunkt i et enkelt land. I den slags studier er det ikke muligt at reducere selektionsbiasen, siger Jes Søgaard.
Jonas Herby er uforstående overfor kritikken, skriver han i en mail til Videnskab.dk:
»Vi er meget opmærksomme på dette problem. Vi kan se, at nogle studier finder en effekt allerede efter få dage, og det er selvfølgelig ikke muligt, men må skyldes, at forskernes model er fejlspecificeret. Vi opdeler der studierne i forhold til, om de finder sådan en tidlig effekt eller ej, men det ser ikke ud til, at det påvirker resultaterne mærkbart.«
Harmonika af restriktioner
Nedlukninger består som bekendt af en række forskellige restriktioner, såsom lukning af skoler, butikker og natteliv, afstandskrav, karantæne, udrejseforbud og nogle steder sågar udgangsforbud.
Typen af restriktioner, og hvordan de bliver håndhævet, varierer fra land til land.
»Det, vi kalder lockdowns, er i praksis en meget bred harmonika,« siger Torben M. Andersen.
I analysen fra CEPOS har forskerne forsøgt at tage højde for, at nedlukninger har forskellige sværhedsgrader, ved kun at medtage studier, der klassificerer nedlukningerne efter en skala, som er udviklet af forskere fra University of Oxford i England.
Skalaen, Stringency Index, rangordner strengheden af de nedlukninger, der er sat i værk i forskellige lande under corona-pandemien. Skalaen går fra 1-5, hvor 1 er mildest og 5 er strengest.
»Oxford-forskerne har gjort et kæmpe arbejde, som skaber overblik over, hvilke tiltag forskellige lande har indført under forskellige bølger af pandemien. Men det er et meget summarisk tal, de når frem til, som ikke egner sig til at analysere effekten af en nedlukning,« siger Torben M. Andersen.
Sammenligning af restriktioner giver ikke mening
Jonas Herby og de to medforfattere har udvalgt studier, der sammenligner forskellige lande, ud fra hvor på Oxford-skalaen deres nedlukninger ligger.
Problemet er, at de fem kategorier i indekset består af flere forskellige restriktioner, som kan have vidt forskellige effekter, påpeger Torben M. Andersen.
»Afstandskrav har måske en meget større effekt end forbud mod at sælge alkohol efter klokken 22. Når afstandskrav kommer i samme kasse som mindre effektive restriktioner, drukner effekten i gennemsnittet,« siger professoren.
Så bare fordi to lande befinder sig i samme kategori på skalaen, betyder det altså ikke, at de restriktioner, de har indført, er de samme, og at de har samme effekt på, hvor mange der dør.
Derfor giver sammenligninger ikke mening, vurderer Torben M. Andersen.
Jes Søgaard er enig: Brugen af Oxford-skalaen medfører, at effekten af forskellige restriktioner opvejer hinanden. Det betyder, at det samlede resultat vil være, at de tilsammen ikke har effekt.
»Konsekvensen af det, Torben siger, er det, vi i økonometrien kalder ‘errors in variables’ (fejl i variabler), og i folkesundhedsvidenskab kalder man det ‘ikke-differentieret misklassifikation’,« siger professoren og tilføjer:
»Det medfører en såkaldt observationsbias, som altid vil dreje resultatet af en statistisk analyse imod nul.«
Svar på kritikken
Jonas Herby, specialkonsulent i den borgerligt-liberale tænketank CEPOS, skriver i en mail til Videnskab.dk, at han ikke uenig i Torben Andersens og Jes Søgaards vurdering af, at det kan være svært at bruge Oxford-kriterierne, når man sammenligner lande for at vurdere effekten af nedlukninger:
»Det er meget svært at sammenligne to forskellige nedlukninger, fordi der altid er forskelle i nuancerne. Men vi er i mine øjne tilbage ved, om vi vil basere os på mavefornemmelser, eller om vi vil undersøge effekten af nedlukninger på baggrund af de data, vi nu engang har. Og her er Oxfords Stringency Index nok det bedste, vi har, i forhold til at måle hvor streng en nedlukning er,« mener han.
