\ In English
Read this article in English here.
Kun 5 danske liv er blevet reddet, som følge af at man lukkede landet ned og indførte restriktioner, konkluderer Jonas Herby, der er specialkonsulent i den liberale tænketank CEPOS, på baggrund af en analyse, lavet af blandt andre ham selv.
Analysen er ikke publiceret i et videnskabeligt tidsskrift.
Alligevel er den opsigtsvækkende konklusion røget i medierne både i Danmark og udlandet: ‘Forskning: Nedlukninger har kun reddet fem danskere fra døden, skrev Berlingske på forsiden som en reklame for en kommentar af Jonas Herby. Og den liberale specialkonsulent har også gæstet udenlandske radio- og tv-programmer med samme budskab.
Men konklusionen af analysen fra CEPOS hviler på svag og utilstrækkelig evidens, ifølge forskere Videnskab.dk har talt med.
»Jeg ville dumpe mine studerende, hvis de havde lavet den analyse,« siger Mathias Heltberg, der er postdoc i biokompleksitet på Niels Bohr Institutet og en del af infektionsberedskabet hos Statens Serum Institut (SSI).
Professor Karsten Juhl Jørgensen har heller ikke meget tiltro til den forskning, konklusionen fra CEPOS bygger på:
»Jeg ser på det metodemæssige, og umiddelbart tror jeg ikke, den her analyse ville klare sig gennem et peer review (altså at uafhængige forskere har læst og kvalitetssikret et studie, før det udgives i et videnskabeligt tidsskrift, red.),« siger Karsten Juhl Jørgensen, der er professor i evidenssyntese og screening ved Cochrane Danmark og Center for Evidensbaseret Medicin Odense.
En del af kritikken går på, at analysen ender med at inddrage meget få studier. Jonas Herby svarer, at de har søgt på alt, hvad der findes, og han tror ikke, at nye studier vil ændre meget på den endelige konklusion.
»Det kan jo være, at der om to år findes nogle tal, der er lidt anderledes, men jeg synes ikke, der er noget i vores resultater, der tyder på, at det bliver væsentligt anderledes,« siger Jonas Herby, der heller ikke mener, at hans konklusion om de fem reddede liv er for skarp og hviler på for tyndt et grundlag. Læs flere af hans svar længere nede.
Fire kritikpunkter
Analysen, som Jonas Herby har lavet sammen med to udenlandske økonomiprofessorer, Lars Jonung fra Lund Universitet i Sverige og Steve H. Hanke fra Johns Hopkins University i USA, er en såkaldt metaanalyse.
I metaanalyser gennemgår forskere systematisk de studier, der er publiceret om det emne, de gerne vil undersøge. I det konkrete tilfælde har forskerne set på studier, som har undersøgt corona-nedlukningernes effekt på antal dødsfald.
Analysen konkluderer, at den gennemsnitlige nedlukning i Europa og USA har reduceret dødeligheden med 0,2 procent.
Den omdiskuterede psykologiprofessor Jordan B. Peterson har delt Jonas Herbys analyse med sine 2,3 millioner følgere på Twitter.
Men Karsten Juhl Jørgensen og Mathias Heltberg mener ikke, at konklusionen om, at nedlukninger kun har reddet fem liv, bliver underbygget i analysen. De peger på en række kritikpunkter, efter at de har læst den for Videnskab.dk:
- Metaanalysen bygger på meget få studier
- Et enkelt studie kommer til at dominere resultatet
- Forfatterne sammenligner studier, der hverken kan sammenlignes eller overføres til danske forhold
- Der er alt for få data til den skarpe konklusion
Vi dykker ned i hvert punkt, og bagefter svarer Jonas Herby på kritikken.
\ Forskerne bag studiet er markante modstandere af nedlukninger
Du kommer fra CEPOS, og analysen har du lavet med to forskere, der også har været ret tydelige omkring, hvor de står i debatten om nedlukninger. Steve H. Hanke delte analysen i et tweet med teksten ‘lockdowns are for losers’. Burde jeres analyse være udstyret med en disclaimer om, at I er aktive i debatten?
»Ingen af os har nogen interessekonflikter. Det vil fremgå, når studiet publiceres i et tidsskrift. Det er ikke normalt at deklarere, at man har deltaget i en debat. Det ville da være underligt, hvis forskere ikke kunne deltage i debatten på et område, de har forstand på,« lyder det fra Jonas Herby:
»Derfor har jeg overhovedet ikke tænkt over det. Men måske. Vi skriver lidt om, hvad der i første omgang vakte vores interesse. Det kunne da godt være, at man skulle have skrevet noget der,« siger han.
Hvad skulle der stå så?
»Det ved jeg ikke, for det har jeg overhovedet ikke tænkt over. Men det er da en interessant tanke. Der er jo en grund til, at vi overhovedet begynder at undersøge sådan noget her – det er jo fordi, der er noget, man synes er mærkeligt. Der skal være en interesse, der bliver vakt.«
Er der en fare for, at man kommer til at lede efter det, der bekræfter ens interesse?
»Det er der helt klart, og det er derfor, man skal lave sådan noget her systematisk. At man søger systematisk i de videnskabelige databaser, så man er sikker på at få alt med, uanset hvordan man tænker.«
»Vi kan jo se på nogle af de her ting, at forfatterne til nogle af studierne har haft en bias og tænkt, at lockdowns virker, når de skriver, at de er meget effektive. Når man regner på deres tal, viser det sig, at det er en meget lille effekt. Så jeg tror da, at vi alle sammen lider under det der, hvis vi ikke er omhyggelige med at være systematiske.«
Og det har I været?
»Vores metaanalyse er essensen af forskningen lige nu. Det er ikke meget data, men det er trods alt meget mere data, end dem, der lukkede landet ned, havde.«
Dem, der lukkede landet ned, var politikere. Når du laver den sammenligning, og med din baggrund i CEPOS i øvrigt, kan du sige, om du har en forsknings- eller en politisk kasket på i det her?
»Studiet er med forskningskasket, men når jeg kommunikerer det, er jeg liberal. Jeg ved ikke, om der er et problem i det,« siger han.
Kritikpunkt 1: Der er alt for få studier i analysen
Metaanalyser, som den Jonas Herby og de to økonomiprofessorer har lavet, bliver normalt opfattet som den type forskning, der giver den mest troværdige evidens, fordi forskere gennemgår mange forskellige studier og på den baggrund samler og opsummerer, hvad forskningen samlet set peger i retning af.
Svagheden ved en metaanalyse er imidlertid, at den aldrig er bedre end de studier, den bygger på, og hvis den er baseret på for få studier, er det også problematisk.
I den pågældende metaanalyse har forfatterne fundet 19.000 studier i videnskabelige databaser. Efter tre screeninger har 34 studier kvalificeret sig til at indgå i metaanalysen.
»I analysen kan man læse, at deres hovedkonklusion – at nedlukninger har reduceret dødeligheden med 0,2 procent – kun er baseret på syv artikler,« siger Mathias Heltberg, som sidder i Sundhedsministerets ekspertgruppe for COVID-19, hvor han har været med til at levere fremskrivninger, der skulle hjælpe Sundhedsministeriet med at vurdere konsekvenserne af at lempe på restriktioner.
Syv studier er ikke mange artikler, når man skal vurdere noget så komplekst, understreger han.
Kritikpunkt 2: Ét studie dominerer resultatet
Af de syv studier, der danner grundlag for konklusionen, bliver et tillagt en meget høj vægt i forhold til de andre.
Som Mathis Heltberg siger, bliver det »effektivt set det studie, de (Jonas Herby og hans medforfattere, red.) bygger deres tal på.«
Det pågældende studie er lavet af forskere fra University of Pretoria i Sydafrika, og de når faktisk frem til den helt modsatte konklusion, nemlig at nedlukninger har haft en god effekt i forhold til at reducere dødelighed.
»Jeg ville ikke udtale mig så skråsikkert på baggrund af et review, der er kogt ned til syv artikler, og hvor der er givet så høj vægt til ét studie. Det er samtidig et studie, Jonas Herby og hans medforfattere mener har fejlkonkluderet, men de vil stadig gerne bruge deres tal,« siger Mathias Heltberg og kan ikke standse en latter, da han fortsætter:
»Jeg synes, det er grænseløst arrogant at tillægge et studie maksimal værdi, når man ikke stoler på konklusionen.«
Kritikpunkt 3: Studierne kan hverken sammenlignes eller overføres til danske forhold
Det bekymrer Karsten Juhl Jørgensen, at forfatterne tror, at man umiddelbart kan overføre estimater, der handler om andre europæiske lande og USA til Danmark. Særligt fordi der har været så store forskelle på nedlukningerne landene imellem.
»Timingen har været temmelig forskellig, hvis vi ser på lande som Italien, Frankrig, Spanien og Storbritannien sammenlignet med Danmark. Disse lande havde langt hårdere lockdowns end os, men de var sandsynligvis også langt hårdere ramt af COVID-19, før restriktionerne blev indført. Det kan have overordentlig stor betydning i en situation, hvor smitten udvikler sig eksponentielt,« siger Karsten Juhl Jørgensen.
Han bakkes op af Mathias Heltberg, der mener, at det altafgørende parameter er, hvornår restriktionerne blev sat ind.
»Der blev reddet rigtig mange mennesker i 2020, er mit postulat. Det vigtigste var da ikke hvor hårdt, der blev lukket ned – vi kan sagtens diskutere børn og skoler – men kurven stiger eksponentielt i 2020, og den knækker ret hurtigt, efter vi lukkede ned,« siger Mathias Heltberg.
Karsten Juhl Jørgensen bider mærke i, at Jonas Herby og hans medforfattere diskuterer betydningen af, hvornår nedlukningen er sat i værk, men udelukker de studier, som faktisk undersøger, hvilken betydning det har.
Generelt er de 7 studier, som Jonas Herby og de øvrige forfattere bygger deres konklusion på, meget forskellige, og det er svært at sammenligne dem.
Alt muligt spiller ind, når man skal undersøge, om nedlukninger virker eller ej. For eksempel hvor stor smittespredningen var, da man lukkede ned, hvor høj tillid befolkningen har til myndighederne, og i hvor høj grad man er villige til at følge retningslinjerne, påpeger Karsten Juhl Jørgensen.
De mange forskellige forhold spiller ind på, hvor stor en effekt, studier, der er lavet i og om forskellige lande, finder.
»Når de slår studier sammen, der er så forskellige, skal man som systematisk reviewer spørge sig selv, om det overhovedet giver mening« siger Karsten Juhl Jørgensen.
Mathias Heltberg gør den samme iagttagelse:
»Baseret på deres faglighed har de udvalgt de mest relevante studier og sammenlignet deres gennemsnit. Det er fint nok, hvis det er æbler og æbler, man sammenligner. Her synes jeg jo, at de kommer ud i et grænsetilfælde, hvor de tal, de lægger sammen, ikke bør lægges sammen,« siger Mathias Heltberg.
Kritikpunkt 4: Evidensen er for svag til en så skarp konklusion
Når man vil teste, om noget har en effekt på mennesker, giver randomiserede forsøg, eller lodtrækningsforsøg, de mest pålidelige resultater.
I lodtrækningsforsøg bliver forsøgsdeltagerne tilfældigt (ved lodtrækning) inddelt i to eller flere grupper. En gruppe får den behandling, man vil teste effekten af, og de øvrige grupper er kontrolgrupper.
I metaanalysen har forfatterne udvalgt studier fra samfundsvidenskaben, der undersøger effekten af nedlukninger empirisk, det vil sige ved at indsamle erfaringer fra blandt andet observationer, kilder og cases.
»Det giver en væsentlig begrænsning, særligt når et komplekst indgreb skal vurderes i en kompliceret sammenhæng med mange faktorer. Pålideligheden af de studier, der indgår i analysen, må med stor sandsynlighed være dårlig, og derfor skal man være meget forsigtig, når man konkluderer,« siger Karsten Juhl Jørgensen, som er specialiseret i vurdering evidens og kvaliteten af systematiske reviews og metaanalyser.
»Men det lader ikke til, at man har været forsigtig, når jeg ser på omtalen i Berlingske.«
Mathias Heltberg savner også en grad af ydmyghed i formidlingen:
»Hvordan man vurderer betydningen af lockdowns er komplekst, og man skal derfor være ekstra påpasselig, når man udtaler sig om det. Jeg vil ikke sige, at jeg har svaret på, hvilken betydning lockdowns har haft, men jeg vil sige, at deres konklusion grænser til det ekstremt arrogante,« siger han.
Du kan læse Jonas Herbys svar på kritikken i boksen herunder.
\ Jonas Herby fra CEPOS svarer på kritikken
Kritikpunkt 1: Der er alt for få studier i analysen
»Vi havde jo nok håbet på, at der ville være flere studier. Vi har søgt på alt, der findes, og der er altså ikke flere end dem her,« siger Jonas Herby, da han præsenteres for kritikken.
Han håber, at der med tiden kommer flere studier.
»Det kan jo være, at der om to år findes nogle tal, der er lidt anderledes, men jeg synes ikke, der er noget i vores resultater, der tyder på, at det bliver væsentligt anderledes,« siger han.
Skulle I have ventet med at udgive jeres analyse, til der forelå mere forskning?
»Jeg har fået den kommentar flere steder. Det er meget sjovt, at det udgangspunkt lige præcis rammer et studie, som påpeger at lockdowns måske ikke har haft den her store effekt, som man troede, men alle dem, der siger i medierne, at ‘hvis vi åbner, så vil der dø tusinde mennesker’ bliver der ikke sat spørgsmålstegn ved,« siger Jonas Herby.
Kritikpunkt 2: Ét studie dominerer resultatet
Det studie, som Jonas Herby og de to økonomiprofessorer lægger mest vægt på, er lavet af forskere fra University of Pretoria i Sydafrika. Det vægter med 7.390. Til sammenligning vægter det studie, der vægter næsthøjest, med 256.
Forskerne bag det sydafrikanske studie konkluderer, at nedlukninger har reddet mange menneskeliv – en konklusion, Jonas Herby og hans medforfattere er lodret uenige i.
Hvorfor tillægger man et studie så høj en værdi, når man ikke stoler på konklusionen?
»Det er ikke os, der tillægger studiet høj vægt. Det er metoden bag metastudier. Vægten afhænger ganske enkelt af usikkerheden på estimatet,« siger Jonas Herby.
Det skal forstås sådan, at forskerne bag de enkelte studier selv rapporterer, hvor stor usikkerhed der er forbundet med deres resultater. I det sydafrikanske studie er usikkerheden sat til at være meget lav, og derfor bliver vægten det højere.
»Det er desuden helt normalt inden for metastudier, at man ikke kigger så meget til forfatternes konklusioner, men kigger til deres resultater, og her viser resultaterne altså noget andet end det, de konkluderer. Vi har ikke noget at udsætte på deres dataarbejde,« lyder svaret fra Jonas Herby.
Jonas Herby mener, at forskerne bag studiet er biased – altså, at de har en agenda: De vil vise, at nedlukninger virker. Derfor har de – bevidst eller ubevidst – fejlfortolket data, mener han.
Videnskab.dk har spurgt Jonas Herby, hvordan han selv forholder sig til, at han udgiver forskning om effekten af nedlukninger, samtidig med at han i den offentlige debat er aktiv modstander af nedlukninger. Se hans svar i boksen længere oppe i artiklen.
Han medgiver dog, at det ville være ønskeligt, at der var flere studier. Hvis de i stedet kunne putte 50 studier ind i deres tabel, ville de være ude over det problem, at ét studie vægter så meget højere end de andre.
»Men så vigtigt er det heller ikke. Hvis vi fjerner det studie og i stedet sætter det til 256 (der er vægten af det studie, der er vægtet næsthøjest, red.), så får man 2,5 procent. Det er jo ikke, fordi det som sådan ændrer på den overordnede konklusion. Effekten af nedlukninger er stadig meget lille,« siger han og fortsætter:
»Jeg tror, de fleste mennesker ikke går så meget op i, om nedlukninger har ført til -0,2 procent færre døde eller -2,5 procent,« siger Jonas Herby.
Efter hans egne beregninger vil de -2,5 procent, overført til danske forhold, svare til cirka 63 reddede menneskeliv.
Kritikpunkt 3: Studierne kan hverken sammenlignes eller overføres til danske forhold
Jonas Herby mener, at studierne er sammenlignelige.
»De analyserer sammenhængen mellem nedlukninger og antal døde på grund af COVID-19. Der indgår rigtig nok forskellige landegrupper og tidsperioder, men det gør der jo også i for eksempel medicinske forsøg,« siger han.
Forskerne, Videnskab.dk har talt med, peger netop på, at forskelle mellem lande, og især hvordan forskellige lande har timet deres nedlukninger, skaber for store variationer, til at man kan sammenligne.
Jonas Herby og hans medforfattere tillægger timing mindre værdi og har ekskluderet studier, der ser på betydningen af timing, fordi de, ifølge dem, »systematisk vil overvurdere effekten af nedlukninger«.
Til kritikken af, at man overfører tallene til danske forhold, siger Jonas Herby:
»Det er et gennemsnit, og der kan være alle mulige grunde til, at det skulle være lidt anderledes i Danmark. Det kan være mere eller mindre. Et skøn, tror jeg, man vil sige, det er. Vi ved også, at rygning er ekstremt farligt, men det er svært at sige, om det afkorter den enkeltes liv med 5, 10 eller 15 år,« siger han.
»Jeg undrer mig desuden over, at Heltberg og andre så kategorisk postulerer, at nedlukningerne har reddet rigtig mange mennesker i 2020. Hvilken evidens har de for det?«
Kritikpunkt 4: Evidensen er for svag til en så skarp konklusion
Videnskab.dk spørger Jonas Herby, om der er blevet vinklet for skarpt på effekten af nedlukninger, når han i kommentaren skriver, at »nedlukningerne – før vaccineudrulningerne – forhindrede knap fem dødsfald. Fem. I alt.«
»Det, jeg skriver i Berlingske, er, at hvis man overfører det tal (reduktionen på 0,2 procent, red.) til danske forhold, så svarer det til, at det har reddet 5 personer. Men jeg har selvsagt ikke påstået, at det er præcis fem. Det er jo, fordi det er et meget lille tal. Det kan jeg ikke rigtig se, at der er noget problem i for at være helt ærlig,« siger han.
Han har set, at Berlingske er blevet kritiseret for at oversælge budskabet, siger Jonas Herby, men »når man ser på alle de andre ting, der er blevet bragt i medierne,« er det ifølge ham ikke tilfældet.
Det lyder, som om du siger, at når andre kan skrive ting, der måske/måske ikke er baseret på forskning, og som ikke holder, så kan I også gøre det?
»Overhovedet ikke. Jeg prøver bare at forsvare Berlingskes rubrik. At de skrev sådan meget kategorisk: Nedlukninger har reddet 5 liv eller sådan noget.«
Det er også skrevet meget kategorisk i selve kommentaren, og den står du vel på mål for?
»Helt sikkert. Men det kan jeg altså ikke hidse mig op over. Jeg skriver meget klart, hvad jeg har gjort – at hvis man overfører det til danske forhold, så vil man redde 5 liv,« siger Jonas Herby.
Læs også: Britisk professor: Absurd at påstå, at nedlukninger ikke virker
