Forskere: Myndighedernes model for genåbningen er fyldt med usikkerheder og fejl

Virusset med kongekroneformen, coronavirusset, har kommandoen i Danmark og har nu floreret blandt os i månedsvis.

Trods advarsler, var det ifølge de danske sundhedsmyndigheder tvivlsomt, om virusset ville nå over de danske grænser, men det skete.

Efter en længere nedlukning er Danmark ved at åbne igen, og den genåbning beror på en matematisk model udarbejdet af 45 forskere, der arbejder under et ekspertpanel ved Statens Serum Institut.

Problemet er bare, at den matematiske model, som hele genåbningen hviler på, er behæftet med fejl og stor usikkerhed. Det gælder især mørketallet.

2 + 2 = 5 … og vejen til Rom er mod nordøst…

Hvis coronavirusset er vores fjende, har den lavet en fuldtræffer på os: Danmark måtte lukke ned. Her i genåbningsfasen kender vi kun de svære tabstal; vi ved, hvor mange der er indlagte og døde.

Vi ved ikke, hvor mange fjenden blot har strejfet. Og uden den viden ved vi ikke, hvor farlig og potentiel skadelig fjenden er.

Sagt med andre ord: Før vi kender det samlede antal smittede (registrerede smittede + mørketallet), kender vi ikke den reelle dødelighed.

Ved hjælp af dataindsamling og matematisk modellering forsøger myndighederne at forudsige smittespredningen, og dermed hvor frygtsomme eller optimistiske vi bør være for, at epidemien kommer ud af kontrol, når vi gradvist genåbner Danmark.

Problemet er dog, at både myndighedernes data og udregninger er behæftet med fejl og store usikkerheder, hvilket giver tvivlsomme og i værste fald ukorrekte forudsigelser, som kan medføre fatale politiske beslutninger.

\ Læs mere

Syv myter om corona-pandemien

Adskillige forskere har krævet mere åbenhed

Som fagpersoner med tværfaglige baggrunde indenfor medicinsk forskning, statistik, matematisk modellering og kommunikation oplever vi en lukkethed og skråsikkerhed i måden, hvorpå myndighederne kommunikerer med offentligheden, inddrager og unddrager ekspertområder, samt forholder sig til de fejl, som uundgåeligt opstår, når man står midt i en global pandemi med en hidtil ukendt sygdom.

Vi har opfordret til, at data og viden bliver offentliggjort, så alle kan følge med i de helt centrale forhold, der ligger til grund for, hvordan smittetrykket vurderes, og dermed hvordan vi får etableret et solidt vidensgrundlag for at styre genåbningen af samfundet.

Det er vi ikke ene om. Nærmest entydigt har adskillige topforskere og klinikere ytret samme ønske om meget større transparens, så de får mulighed for at bidrage til det bedst mulige beslutningsgrundlag (se f.eks. her, her, her, her, her, her, her og her).

\ Læs mere

Professor: Mere åbenhed fra Statens Serum Institut vil gøre corona-modellerne bedre

Myndighedernes lukkethed og modelfejl

Sundhedsstyrelsen og Statens Serum Institut (SSI) har igennem hele forløbet været tilbageholdende med at give information om modellerne, deres opbygning, samt de data (tal), som de regner på baggrund af, og som ligger til grund for samfundets genåbning.

Vores og andres kritik har dog heldigvis medført, at Statens Serum Institut 19. maj offentliggjorde et længere notat, hvori de detaljeret beskriver, hvordan smittetrykket udregnes.

Vores analytiske gennemgang af deres modelberegninger viser imidlertid, at udviklingen kan gå i en helt anden retning end det, der er præsenteret.

Kort fortalt forstår vi epidemier som en eksponentiel vækst. Den eksponentielle vækst fungerer som en ’tilfældig forgreningsproces’, hvor hver forgrening udgør en ny smittekæde med øget smittespredning som følge.

Hvis en person i gennemsnit smitter to personer, så fordobles antallet af smittede personer for hver gren, om man vil, på ‘forgreningsprocestræet’.

Den eksponentielle vækst skal altså forstås som et matematisk udtryk, der beskriver fremskrivningen af smittespredningen, og dermed hvor hurtigt epidemien accelerer.

Accelerationen af smittespredningen betegnes med reproduktionstallet ‘R’, som fortæller, hvor mange en person i gennemsnit smitter over 4,7 døgn. I eksemplet ovenfor vil R-værdien således være 2.

Det sagnomspundne mørketal dækker over det totale antal smittede. Ganges mørketallet med reproduktionstallet fås ‘smittetrykket’, der beskriver hvor mange nye smittede, der forventes hen over 4,7 døgn.

Mørketallet og reproduktionstallet hænger altså uløseligt sammen, når vi forsøger at forstå epidemiens udvikling gennem matematik.

\ Læs mere

Professor: Mere åbenhed fra Statens Serum Institut vil gøre corona-modellerne bedre

En god model skal kunne valideres

Siden den første modelfremskrivningsfrigivelse fra Statens Serum Institut (SSI) 6. april 2020 har vi kritiseret modellen for ikke at være den bedst anvendelige.

Det baserer vi på de mange usikre antagelser, som den byggede på – blandt andet et urealistisk højt mørketal.

Matematiske modeller er aldrig bedre end de antagelser, som de bygger på, og den data, som modellerne fodres med. Videnskab arbejder i reglen med data og analyser.

Forudsigelser er derimod vanskelige, eftersom de ikke kan begrundes i historiske data alene. Derfor anvender man typisk matematiske modeller til at producere ‘teoretisk data’ som grundlag for forudsigelser.

Problemet er bare, at man skal være stensikker på, at man kender og kan beskrive de bagvedliggende mekanismer godt nok til at kunne regne på fremtidens mulige udfald.

Modeller skal altså ‘fange’ de væsentligste mekanismer for at kunne forudse tendenser. Og det er i sagens natur mere end vanskeligt med en ny virus.

Problemet er også, at hvis modellerne bliver for komplekse – med for mange variable – bliver det nærmest umuligt at vurdere, om de med tilstrækkelig sandsynlighed, fanger de væsentligste tendenser.

En sådan vurdering kan eksempelvis gøres ved at ‘validere’ modellen mod historiske data.

Kan modellens beregninger beskrive en fremskrivning som passer med historiske data – i dette tilfælde udviklingen i smittetrykket i Danmark de foregående måneder – er der grund til at tro, at modellen har fat i noget rigtigt.

Seruminstituttets model er alt for kompleks

Men SSI-modellen viste sig ikke at kunne forudse smittetrykket. Meget tidligt viste det sig, at smittetrykket ikke fulgte modellens forudsigelser, og selvom SSI forsøgte at forbedre deres model, er dens validering aldrig blevet dokumenteret.

Vores analyser af de offentliggjorte modelkoder har vist, at SSI-modellen indeholder mindst 30 variable. Når man sammenholder disse med de få historiske data, vi har – såsom antal indlagte – betyder det, at der kan skrues på 30 forskellige mulige ’forklaringsmekanismer’ til at ramme målte data.

Dette betyder, at der skal en næsten uendelig stor processorkraft til at udregne alle de mulige kombinationer af variable for at kunne vurdere modellens ‘rigtighed’.

Modellens store kompleksitet forklarer dermed, hvorfor den ikke kunne ramme rigtigt, og hvorfor den ikke har kunnet valideres.

\ Læs mere

Alternativ corona-strategi: Vi kan banke smitten helt i bund med karantæne og smitteopsporing

Seruminstituttets model mangler evidens

Hvis modeller bliver for komplekse, som tilfældet er med SSI’s model, idet den behandler langt flere variable, end der er observerbare data at sammenligne med, så kan de hverken valideres eller bruges til bedre at forstå smittespredningen.

Dette betyder, at modellen hverken kan forklare de første måneder af udviklingen i smittetrykket eller bruges til at give troværdige forudsigelser om de næste uger og måneder.

Modellen omsætter grove og problematiske antagelser om et pågældende åbningsscenarie til et grafisk output, som kan ses som farverige kurver.

SSI-modelsimulationerne må derfor ikke forveksles med videnskabelig evidens. De er snarere en visualisering af scenarier, hvis sandsynligheder reelt ikke kan vurderes.

Mørketallet er afgørende

På baggrund af vores store arbejde med at indsamle og behandle data fra studier af corona-spredning i Belgien, Frankrig, Spanien og Norge har vi ikke kunnet få Statens Serum Institut-modellens simuleringsdata til at passe med de faktiske omstændigheder eller de internationalt anerkendte forståelser af coronavirussets udbredelse.

Eksempelvis ville et mørketal på 30-80 gange det registrerede antal smittede betyde, at sygdommens udbredelse var enorm, og med ‘blot’ 568 døde i Danmark 28. maj, ville dens dødelighed være meget lavere end dokumenteret ved blandt andet danske og franske antistofstudier.

Ved at fodre matematiske modeller med antagelser og tal hentet fra udlandet, kan vi i takt med, at disse lande genererer bedre data for smittens udbredelse, konstatere, at vores model er markant bedre end SSI’s model til at forklare udviklingen i de første måneder og tilsvarende bedre til at forudsige epidemiens videre udvikling.

Vi har især fokuseret på mørketallet, som ikke kan måles, men må estimeres, da det også tæller de ikke-registrerede smittede.

Mørketallet indgår i, hvordan vi fremskriver smittespredningen. Mørketallet er dog også, jævnfør ovenstående, helt centralt for at forstå sygdommens alvor. Præsenteres mørketallet for højt, fremstår COVID-19 følgeligt mindre dødelig.

Myndighedernes mørketal var alt for højt

Vi mener, at der er gode grunde til at vurdere, at Statens Serum Instituts mørketal har været urealistisk højt.

Gemt i modellens koder har vi fundet antagelser om et mørketal, som alene for befolkningsgruppen under 60 år ligger mellem 132.800 og 1,3 millioner mennesker, hvilket er langt større end det, som vores data understøtter.

Med udgangspunkt i det franske antistofstudie og danske indlæggelsestal viser vores analyser, at cirka 60.000, altså kun omkring én procent af befolkningen, sandsynligvis har været smittet under hele epidemien i Danmark.

Vores data valideres yderligere ved behandlingen af udenlandske data ud fra vores beregningsgrundlag samt de nye resultater fra danske antistoftests, der viser ca. 1,1 procent smittede – hvilket svarer til cirka 64.000 smittede.

Hvis mørketallet således er langt lavere end antaget af SSI, vil den reelle dødelighed (også kendt som IFR, ‘infection fatality rate’ – dvs. antal døde i forhold til mængden af smittede personer, både registreret og ikke-registreret smittede) også være langt større og vil ifølge vores beregninger ligge i området 0,6-0,8 procent.

Det er cirka fem gange højere end den dødelighed, som antagelserne omkring indlæggelseskvotienter i myndighedernes model fortæller os, at de arbejder ud fra.

Vores beregninger af dødeligheden stemmer overens med et nyt fransk studie, som har været medvirkende til, at de norske sundhedsmyndigheder har justeret IFR fra 0,3 til 0,7 procent.

\ Læs mere

Corona-mørketallet i Danmark: Derfor er det vigtigt, og disse 3 ting skal du være opmærksom på

Det er ikke sikkert, vi har set alle effekter af genåbningens første fase

Mørketallet har yderligere en betydning for beregningen af indlæggelseskvotienten, altså andelen af smittede, som ender med at udvikle svære, behandlingskrævende symptomer.

Samtidig spiller mørketallet også en stor rolle i beregningen af udviklingen i smittetrykket såvel som reproduktionstallet, som fortæller, hvor mange gange en COVID-19-smittet person giver sygdommen videre til andre.

Det væsentlige her er, at både mørketallet og reproduktionstallet er vigtige for at forstå smittespredningen.

Hvis mørketallet er højt, vil konsekvensen af en ændring i smittetrykket (som nu i forbindelse med genåbningen) kunne ses tidligt, da der hurtigt kommer mange flere smittede.

Men når mørketallet er lavt, vil man først se den fulde effekt af genåbningen senere da få smittede først skal blive til mange, før effekten bliver tydelig.

Derfor opfordrer vi til, at man tager den forsinkede effekt af genåbningen alvorligt, og forlænger reaktionstiden førend nye tiltag implementeres.

Vi risikerer ny smittebølge i sensommeren

Når vi korrigerer mørketallet og beskriver den eksponentielle udvikling ud fra det korrigerede tal, kan vi ikke afvise, at der kan komme en 2. smittebølge – en 2. smittebølge, som Kåre Mølbak (faglig direktør i Statens Serum Institut, red.) ellers lige har kaldt ‘meget usandsynlig’.

Vores korrigerede modelberegninger viser, at vi kan risikere, at smittespredningen stiger igen og vokser med eskaleret hastighed mod slutningen af juli og starten af august.

Hvis vi har ret i det, betyder det, at politikerne diskuterer og træffer beslutninger om åbningstiltag på baggrund af forkerte data og misvisende fremskrivninger.

Og det kan få konsekvenser for antallet af indlagte, sygehusenes behandlingskapacitet og ikke mindst antallet af døde.

Når rationaler og grundlag for beslutninger ikke er gennemsigtige, samt aktuelle beslutninger er funderet i forkerte og ikke-validerede gæt, risikerer vi – ud over en 2. smittebølge og genlukning af samfundet – også at undergrave den tillid og det samfundssind, som er et nødvendigt fundament for en vedvarende opbakning til fortsat at følge myndighedernes anbefalinger.

Gennemsigtighed er fint, men regnestykkets antagelser er altafgørende

Statens Serum Institut har som sagt endelig, 11. maj, offentliggjort et længere notat, hvori man detaljeret beskriver, hvordan smittetrykket udregnes.

Koderne i det anvendte softwareprogram, der ligger bag modelleringen, er nu tilgængelige, hvilket tillader, at andre eksperter kan læse og vurdere grundlaget. Ligesom i traditionel videnskabelig praksis, hvor peer review (fagfællebedømmelse af 1-3 eksperter) er en hjørnesten i at sikre kvaliteten af videnskabelige publikationer.

Vi anerkender naturligvis, at adgangen til modellens koder er et vigtigt skridt i den rigtige retning, men vi kan desværre også konstatere, at vi kun kan se dele af modelkoden. Hertil har SSI udgivet en ny modelrapport, men ikke redegjort for, om der er tale om en ny model med nye koder.

Modellen bliver ikke bedre end de antagelser, man baserer den på, og når de er behæftet med store fejl, så har vi dét problem, at politiske beslutninger fortsat træffes på et misvisende beregningsgrundlag.

Videnskaben kan ikke spå

Seruminstituttets model bør nemlig, i sin nuværende form, ikke præsenteres som et evidensgrundlag. Den er i vores og andre fagfolks bedste vurdering en scenarievisualisering.

Modellen er derfor misrepræsenteret, når den bruges som evidensgrundlag for politiske beslutninger.

Det ville selvfølgeligt være rart, hvis videnskaben kunne spå om fremtiden. Men videnskab er i sin grund databaseret, og ingen model kan reelt erstatte gode data. Dog er det vigtigt, at en modellering giver retvisende billeder af den usikkerhed, som er direkte forbundet med tilgængelige data.

Det er som nævnt kvaliteten af de antagelser og den data, som man benytter i modellen, der definerer kvaliteten af det, som kommer ud af den. ‘Garbage in’ giver altså ‘garbage out’.

Vi bør teste mindst 10.000 tilfældige danskere om ugen

Den præsenterede strategi for test, opsporing og isolering bør implementeres effektivt og hurtigst muligt, eftersom det er den bedste metode til at skabe et mere retvisende billede af smitteudbredelsen i Danmark.

Her bør vi anvende den fulde testkapacitet i kombination med ambitiøs opsporing og isolation, da dette reelt er det eneste redskab, som kan modvirke, at vi ser en ny stigning i smittespredningen under genåbningen.

En vigtig betragtning i den sammenhæng er, at der på dagen for nedlukningen af Danmark (11. marts 2020) var 8 personer indlagt på en intensivafdeling og endnu ingen døde, mens vi for nuværende har 20 personer indlagt på intensivafdelinger og nu igen begynder at se en stigning i nye indlæggelser.

Eftersom vores korrigerede beregninger indikerer en væsentlig lavere udbredelse af smitte i befolkningen, er det svært at opdage ny smitte og smitteudvikling med det nuværende antal tests.

Derfor opfordrer vi til, at man opskalerer den randomiserede screening af såvel immunitet som aktuel smitte til at omfatte minimum 10.000 testpersoner om ugen.

Endelig opfordrer vi til mere åbenhed fra myndighederne fremadrettet. Vi har i åbenhedens navn oprettet Facebook-gruppen ‘COVID19 – Videnskabelig formidling‘, hvor relevante spørgsmål og debatter tages op.

Her handler det om at samle og dele videnskabeligt baseret viden om COVID-19 for på den måde at skabe det bedste grundlag for at kunne bekæmpe fjenden.

Forskernes kritik er blevet forelagt SSI, men de er endnu ikke vendt tilbage med en kommentar.

\ Læs mere

Professor: Den nye teststrategi vil gøre os langt klogere på epidemien

\ Læs mere

Topforskere: Coronakrisen er afgørende – det, vi gør nu, kan ændre klodens klimakurs