Vi aner ikke, om mange af vores sundhedsindsatser redder liv eller ej

Jeg er på Bandim Health Projects kontor i hovedstaden i Guinea-Bissau i Vestafrika. Ved nabobygningen, det lokale sundhedscenter, er der opsat en COVID-19-vaccinationspost.

Her sidder to sygeplejersker fra sundhedscentret. Jeg kender dem begge gennem deres normale arbejde med vaccinationer af børn og gravide, fordi Bandim Health Project følger befolkningen i lokalområdet og derfor blandt andet registrerer, hver gang et barn vaccineres på centeret.

De seneste dage har sygeplejerskerne ikke givet børnevacciner, men har i stedet siddet udenfor sundhedscenteret og vaccineret voksne mod COVID-19.

Det gør de for at nå målet om at vaccinere 70 procent af befolkningen over 18 år.

Vaccinationskampagnen har kørt med varierende intensitet de sidste tre måneder. Vi ved endnu ikke, hvor stor en andel af befolkningen, der allerede har været smittet.

At skulle træffe et valg om udrulning af sundhedsinterventioner såsom vacciner på baggrund af skøn eller beregninger med mange ubekendte, er ikke kun hverdagen under pandemien.

Det var det også før, hvor prioriteringer af udrulningen af sundhedsinterventioner måtte foretages på baggrund af problemets forventede størrelse og en forventet, men ikke kendt, effekt af interventionen.

Det er ikke kun hverdagen i Guinea-Bissau, men også i mange andre lavindkomstlande, hvor der er mange væsentlige informationer, vi ikke kender.

Det betyder desværre, at vi ofte handler i blinde og ikke kan vælge de løsninger, der gavner flest.

Høj dødelighed kræver handling nu

I Guinea-Bissau er sundhedsudfordringerne store og dødeligheden høj. Børnedødeligheden (andelen af levendefødte børn, som dør før deres 5-års dag) er cirka 80/1.000.

Det er mere end 20 gange så højt som i Danmark og 3 gange så højt, som det delmål vi skal nå inden 2030 (<25/1.000, jf. Verdensmålene).

Derfor haster det med at gøre noget. Så man handler, men ved ikke altid, om det, man gør, virker.

Det er der en god forklaring på: Der er begrænsede ressourcer.

Hvis sundhedsministeriet og eksterne donorer skal investere i måling af effekter, er der færre ressourcer til at sikre, at alle hurtigst muligt nås med (det, vi tror, er) en gavnlig intervention.

Der foretages derfor en prioritering, hvor evalueringen ofte ses som en unødvendig luksus.

Undersøger ikke den reelle effekt

Når mange programmer alligevel fremhæves som effektive, sker det tit på baggrund af ’dækningsgrader’ og ’modellerede effekter’.

Man anvender ressourcer til at sikre de data, som kan beskrive, at interventionen er blevet rullet ud (altså hvor mange der har fået (er blevet dækket af) interventionen – for eksempel vaccinationsdækningen).

På baggrund af tal for dækning og den anslåede byrde af sundhedsproblemet beregner man så den forventede effekt (de modellerede effekter).

Relativt simpelt – men næppe rigtigt. En sådan øvelse gør os nemlig ikke meget klogere, fordi den ikke undersøger den virkelige effekt.

I Guinea-Bissau kan vi måle effekter

Hvis vi skal sikre, at vi faktisk bedrer sundheden og overlevelsen, har vi brug for data for den reelle effekt.

Sådanne data er ikke let tilgængelige i mange lavindkomstlande, og det kræver derfor en investering i evaluering sideløbende med implementering.

I modsætning til mange andre lavindkomstlande har vi i Guinea-Bissau god mulighed for at undersøge effekterne af sundhedsinterventioner: Både de interventioner, der har været brugt længe, og dem, der er kommet til som en del af pandemi-responset.

Det har vi i kraft af Bandim Health Projects sundhedsdemografiske overvågningssystem, som siden 1978 har fulgt dele af den guineanske befolkning gennem regelmæssige hjemmebesøg.

Registreringen i vores system begynder allerede før fødslen, og de enkelte personer følges, indtil de flytter ud af studieområdet eller dør.

Med afsæt i denne platform har vi tidligere påvist, at effekterne af mange forskellige interventioner, for eksempel vacciner, ikke er som antaget:

Nogle vacciner (for eksempel tuberkulose-vaccinen) sænker dødeligheden mere, end der kan forklares ud fra effekten på målsygdommen, mens andre, på trods af at de beskytter mod målsygdommene (eksempelvis difteri-stivkrampe-kighoste), ikke sænker dødeligheden.

Store huller i nationale sundhedsdata

Bandim Health Projects demografiske overvågningsdata sætter os også i stand til at måle dødeligheden i befolkningen.

I Guinea-Bissau er der ellers begrænset viden om, hvor mange børn der fødes og dør. Her er ikke et landsdækkende befolkningsregister, som vi har det i Danmark.

Kun cirka halvdelen af fødsler registreres i befolkningsregistret, inden barnet bliver fem år gammelt, og kun få dødsfald registreres.

Det er også et problem i mange andre lav- og mellem-indkomstlande og betyder, at de fleste dødsfald blandt børn ikke fanges i befolkningsregistrene.

Derfor måler man dødelighed gennem spørgeskemaundersøgelser. Børnedødeligheden beregner man på baggrund af interviews med et repræsentativt udsnit af kvinder mellem 15-49 år.

De fortæller om deres fødsler, og man spørger ind til, hvornår det enkelte barn er født, og, hvis det er dødt, hvornår dødsfaldet fandt sted.

Men selv hvis informationen samles hyppigt, får man den kun, efter dødsfaldene er sket. Derfor kan man ikke bruge sådanne data til at følge sundhedsinterventionernes effekt indenfor få år.

Gennem spørgeskemaundersøgelser indsamler man også information om sundhedsinterventioner fra børn, som overlevede.

Baseret på disse data kan man dokumentere, at der bliver gjort noget: Flere og flere børn nås med sundhedsinterventioner; vaccinationsdækningen stiger, og flere fødsler sker på sundhedsklinikker.

Men det er ikke nok at måle på dækningsgrader, når man ruller interventioner ud. Gennem øgede dækningsgrader kan vi dokumentere, at vi gør noget – men ikke hvilken effekt tiltagene har.

Fra blindede forsøg til blind tro på effekten?

Hvis vi er overbeviste om, at sundhedsinterventionerne virker efter hensigten, er ressourcer brugt på evaluering spildte. Disse midler kunne i stedet have været brugt på at nå flere med den gavnlige intervention.

Men ofte ved vi ikke, om det, vi gør, er ’det rigtige’, og selv når vi er overbeviste om, at vi indfører en gavnlig intervention, er vi nødt til at have øjnene åbne for, at vi kan tage fejl.

Nye interventioner, eksempelvis medikamenter eller vacciner, er forud for godkendelse blevet testet i blindede kliniske forsøg, hvor de er blevet sammenlignet med placebo.

Her har man grundigt undersøgt, om den forventede effekt er til stede, og man har også kunnet opfange hyppige bivirkninger.

Men de kliniske forsøg er ikke store nok til at kunne fange sjældne bivirkninger, og fokus er i afprøvningen på de forventede effekter - eksempelvis: ’virker vaccinen mod målsygdommen?'

Forsøgene er ikke optimale til at opfange effekter på den generelle sundhed – eksempelvis: ’hvordan påvirker vaccinen risikoen for at blive syg eller dø, uanset af hvilken årsag?'

Forskel på kliniske forsøg og praksis

Vores vaccineforskning er et godt eksempel på, at det er vigtigt at måle den generelle effekt på sundhed.

Eksempelvis tyder meget på, at kampagner med den levende vaccine mod polio har sænket dødeligheden markant (se for eksempel her, her og her), selvom det i dag er meget få børn, som dør af polio.

Konsekvensen af at udrydde polio og stoppe kampagnerne kan derfor være øget dødelighed, hvis ikke man sikrer, at den gavnlige effekt af kampagnevaccinerne erstattes af noget tilsvarende.

Når man går fra klinisk afprøvning til implementering, kan både de sygdomsspecifikke effekter og bivirkningerne (inklusiv skadelige/gavnlige effekter på den generelle sundhed) variere.

For eksempel kan de personer, der indgik i afprøvningen, være forskellige fra dem, der sidenhen skal modtage interventionen. Det kan være forskellige i alder, køn, eller at de har andre sygdomme.

Derfor kan effekten variere, og bivirkninger forekomme med en anden hyppighed end den forventede.

Foruden forskelle i effekter kan den måde, hvorpå interventionen leveres være forskellig. I et klinisk forsøg følges standardiserede guidelines, men når en intervention udrulles i det almindelige sundhedssystem, kan afvigelser forekomme.

Samlet set betyder det, at man ikke blot kan overføre et effektmål fra et forsøg til en forventet effekt i praksis.

Enhver intervention tager ressourcer fra en anden

Nye interventioner rulles ud i et sundhedssystem, som i forvejen implementerer andre programmer. Derfor konkurrerer nye og gamle interventioner om de samme ressourcer.

Et eksempel herpå er de to sygeplejersker, vi mødte i indledningen, som nu bemander et af centrets COVID-19-vaccinationsposter. Mens de sidder her, arbejder de ikke med gravide eller børn.

Hvis en vaccinationskampagne betyder, at der ikke er ressourcer til andre opgaver i den samme periode, skal vi være sikre på, at den negative effekt af de udsatte opgaver ikke har større effekt på dødeligheden end de prioriterede.

Det er nemmere sagt end gjort. Vi har i dag ikke de data tilgængelige, som sætter os i stand måle effekter (fremfor blot at modellere dem).

Derfor er det ikke underligt, at de internationale organisationer har fokus på måling af dækning i stedet for måling af effekt.

I delmål 3.8 af Verdensmålene beskrives ’Universel sundhedsdækning’, som udtrykker, at alle skal have adgang til essentielle sundhedsydelser til en overkommelig pris.

Her måler man ikke på udelukkende på dækningsgraden af en enkelt intervention, men på 16 forskellige parametre (se mere i faktaboksen under artiklen).

Men igen måler man især sundhedsprogrammernes dækning – ikke om deres effekt er på sundhed.

Feedback er nødvendig for forbedring

Så længe evalueringen af sundhedseffekterne ikke prioriteres, ved vi reelt ikke, om vi får ’mere sundhed for pengene’.

Det er ikke nok at undersøge, hvor mange der bliver nået med interventionen. Vi skal også vide, om sundhedstilstanden faktisk er blevet bedre. Det sker langt fra altid, når programmer implementeres, men når man undersøger effekten, kan man blive overrasket – og klogere.

Der er mange eksempler på studier, som har øget dækningen af anbefalede interventioner, men alligevel ikke sænkede dødeligheden (se for eksempel her, her og her).

Derfor er den aktuelle strategi til at sænke dødeligheden og bedre sundheden, eksempelvis gennem ’universel sundhedsdækning’, utilstrækkelig.

Vi skal i stedet måle, hvordan sundhed og overlevelsen påvirkes af interventionerne. Selvom sådanne opgørelser ikke er nemme at foretage i de fleste lavindkomstlande i dag, forbedres systemerne.

Hvordan evaluerer vi bedst?

I fremtiden, og i nogle lande allerede i dag, kan evalueringer trække på data fra sundhedsfaciliteterne.

Derved kan man følge udviklingen i sundhed og overlevelse tættere og sikre, at den går i den rigtige retning.

I et land som Guinea-Bissau, hvor 2/3 af dødsfaldene stadig sker udenfor sundhedsvæsenet, kan et system, der bygger på sundhedscenterdata, dog endnu ikke stå alene.

Hvis vi ikke prioriterer ressourcer til monitorering sideløbende med udrulningen af en intervention, risikerer vi ikke kun forkert brug af ressourcerne, men også at gøre mere skade end gavn.

Derfor burde spørgsmålet ikke være, om vi har råd til at prioritere evaluering af sundhedsinterventioner, men hvordan vi gør det bedst.

Læs mere om Bandim Health Project her og her.