Når effekten af et nyt kirurgisk indgreb eller en ny medicin skal vurderes, foregår det i videnskabelige forsøg.
Her opdeler man en gruppe patienter og behandler nogle med den nye eksperimentelle metode og andre med den gamle kontrolbehandling. Det gør det muligt at undersøge, hvilken af de to metoder der opnår de bedste resultater og færrest bivirkninger.
Der er forskellige måder at vurdere resultaterne på. Der har længe hersket bred enighed om, at man opnår den mest sikre vurdering ved at lave såkaldte blindede studier.
Blindet betyder i dette tilfælde, at dem, der skal vurdere resultaterne, ikke ved, om de ser på data fra en patient, der har fået den nye eller den gamle behandling.
»Det har I mange år været sådan, at man har formodet, at det spillede en rolle for vurderingen, hvis den, der vurderer, ved, om patienten har fået ny eller gammel behandling. Denne formodning om såkaldt ’observer bias’ har man dog ikke kunnet vise klart i undersøgelser. Så hidtil har der altså været en forskel på, hvad man mente, og hvad man kunne bevise, « fortæller Asbjørn Hróbjartsson, seniorforsker hos Det Nordiske Cochrane Center.
Stor skævhed i vurderingerne
Denne mangel på overensstemmelse har Asbjørn Hróbjartsson og hans kolleger nu afskaffet. De har som de første formået at vise, at vurderingen af en ny behandling bliver langt mere positiv, hvis ikke studiet er blindet.
»Det, vi finder, er, at der er en generel tendens til, at personer, der ikke er blindede, overvurderer effekten og er mere positive, når de vurderer en ny behandling frem for den gamle. Det bekræfter altså den formodning, man har haft,« fortæller Asbjørn Hróbjartsson.
»Det nye er, at vi finder en ret stor effekt. Og det viser sig desuden, at den varierer ganske betragteligt. I nogle studier er der ikke bias, mens der i andre er meget stor bias. Så stor, at når man laver et vægtet gennemsnit, så er der stadig en betragtelig bias,« tilføjer han.
Forskerne har dog ingen forklaring på, hvorfor skævheden varierer så meget.
»Vi fandt ingen mønstre, men det betyder ikke, at der ikke er mønstre. Der er grund til at tro, at eksempelvis læger, der skal vurdere effekten af deres egen behandling eller deres eget kirurgiske håndværk, vil have sværere ved at være neutrale - men det kan vi ikke vise i vores materiale,« siger Asbjørn Hróbjartsson.
Mere rent undersøgelses-design
Cochrane-forskernes studie er en såkaldt ’meta-analyse’, hvor de ser på 16 studier, som andre har lavet, og sammenligner resultaterne ved hjælp af avanceret statistik.
\ Fakta
Begrebsafklaring Blindet studie: Kan betyde en af flere ting: At patienten ikke ved, hvilken behandling, han eller hun har fået. At den, der vurderer behandlingen ikke ved, hvilken behandling patienten har fået. At dem, der administrerer studiet ikke ved, hvilken behandling de forskellige patienter får. Eller to eller alle tre ting på én gang. Bias: Udtryk for en skævhed, der kan opstå, hvis et videnskabeligt studie ikke er designet neutralt. Skal en kirurg for eksempel selv vurdere effekten af en operation han har udført I forhold til effekten af en anden operation, er der risiko for, at hans vurdering vil være ‘biased’, altså skrævvreden, i retning af en mere positive vurdering af operationen, han selv har udført. Ublindet effektvurdering: Det er studier, der har ’ublindede effektvurderinger’, som Asbjørn Hróbjartsson og kollegerne har kigget på. I disse studier ved den person, der skal vurdere effekten af en ny behandling over for en gammel, om patienten, som han eller hun kigger på, har fået den ene eller den anden behandling.
Det, de sammenligner, er ikke det, studierne har undersøgt, for eksempel forskellen på et gammelt og et nyt kirurgisk indgreb, men forskellen på den vurdering, henholdsvis blindede og ikke-blindede personer foretager af forskellen på effekten af indgrebene.
De er i stand til at påvise bias i studier med ublindede vurderinger i modsætning til tidligere forsøg på det samme, fordi de har været meget kræsne med hvilke studier, de inkluderer i deres undersøgelse.
Der er nemlig tendens til at blande æbler og pærer, når man sammenligner, og det giver for mange usikkerheder til, at man med sikkerhed kan sige, om en skævhed skyldes de ublindede vurderinger.
»Problemet med de tidligere undersøgelser er, at de har sammenlignet studie A, som var blindet, og måske lavet i Danmark, med studie B, der ikke var blindet, og måske lavet i USA. Samtidig kan både patienter, behandlere og dem, der vurderer resultatet være blindede, og det bliver blandet sammen i de tidligere studier,« forklarer Asbjørn Hróbjartsson.
»Vi har i stedet set på studier, som både indeholder en blindet og en ikke blindet vurdering. Det betyder, at vi kan sammenligne meget mere rent, fordi selve undersøgelsen, som bliver vurderet både blindet og en ublindet, er helt det samme. Så kan man se bort fra alle andre forklaringer. Teknisk videnskabeligt er det et meget rent design,« siger forskeren.
Blindede studier er vejen frem
Der er kun én oplagt løsning på at undgå de skæve vurderinger: Ved at bruge blindede vurderinger.
»Når man skal lave studier, befinder man sig i en virkelighed, hvor man har for få penge, og derfor kan det virke nemt, at hoppe over hvor gærdet er lavest og bruge ublindede vurderinger, fordi det er billigere,« siger Asbjørn Hróbjartsson.
»Det, som vores studie kan hjælpe med i den forbindelse, er, at der nu er evidens for, at ublindede vurderinger giver skæve resultater. Det understreger, at det ikke er dér, man skal gå på kompromis,« tilføjer han.
Som med al videnskab er der sjældent en ultimativ sandhed, så man kan ikke på baggrund af det nye studie sige, at alle studier med ikke-blindede effektvurderinger vil indeholde skævheder. Faktisk viser analysen, at nogle studier slet ikke har bias - men langt de fleste har, og derfor skal resultaterne tages alvorligt.
»Efter min vurdering er resultatet meget velunderbygget, baseret på mange studier og dækker mange områder,« siger Asbjørn Hróbjartsson.
