Gennem grundige og nøje tilrettelagte studier forsøger forskere at undersøge store og små videnskabelige spørgsmål på en fordomsfri og objektiv måde.
Der er bare ét stort problem, som står i vejen for objektiviteten: Vi forskere skal træffe valg.
Hvordan skal vi indsamle og håndtere data? Hvilke antagelser lægger vi til grund for vores analyser? Og hvilke målestokke skal vi bruge?
På den ene side er disse spørgsmål en styrke ved forskningen, der kan føre til mange forskellige videnskabelige tilgange.
På den anden side efterlader det forskere med subjektive valg, der kan påvirke de endelige resultater.
I denne artikel vil jeg se nærmere på de uheldige konsekvenser, det kan have, når forskere står med for mange valg.
Haven med de forgrenede stier
Forskerne Andrew Gelman og Eric Loken har beskrevet de mange subjektive valg med en metafor kaldet ‘Haven med de forgrenede stier’.
Forskeren bevæger sig gennem haven (‘det videnskabelige spørgsmål’), og ved hver forgrening tager forskeren et valg – bevidst eller ubevidst – om at bevæge sig i den ene eller anden retning.
To forskellige forskere kan derfor ende vidt forskellige steder i den samme have. Det kan potentielt føre til forskellige resultater i en videnskabelig undersøgelse.
Mængden af valg (forgreninger i haven) kaldes for forskerens frihedsgrader. I en have med mange stier har forskeren stor frihed, mens friheden er begrænset, når der er få stier at gå ad.
De mange frihedsgrader har blandt andet den konsekvens, at andre forskere kan have svært ved at identificere den samme sti i haven og dermed genskabe resultaterne. Et problem der bidrager til ’replikationskrisen’, som du kan læse mere om i denne Videnskab.dk-artikel.
På jagt efter signifikante resultater
Hvis vi nu sender en masse forskere gennem den samme have, kan man opfatte haven som en stemmeboks.
Hvis et flertal af forskere vælger at følge en bestemt sti, er netop denne sti nok det bedste valg... Eller hvad?
For hvad sker der, når forskerens valg ikke alene er afgjort af forskningsmæssige overvejelser, men også af om studiet kan udgives i et tidsskrift?
Det har i mange år været et problem for forskningen, at positive (signifikante) fund oftere finder vej til tidsskrifter end de såkaldte nulfund.
Eksempelvis vil et studie, der påviser en sammenhæng mellem skærmtid og mistrivsel muligvis have mere held i et tidsskrift end et andet studie, der ingen sammenhæng finder.
Det skaber en gevinst for de forskere, der vader rundt i haven, indtil de har ramt en interessant sti, der afføder et positivt fund. I dette scenarie er forskerne altså på jagt efter signifikante resultater.
Fænomenet er kendt som ‘p-hacking’, og det er et stort problem for troværdigheden af et studie. Man hører nemlig ikke om alle de stier, som gav andre resultater. Det forvrænger vores forståelse af virkeligheden.
Når nulfund bliver liggende i skuffen
Hvis vi forestiller os, at forskeren holdt sig til sin sti, der førte til et ikke-signifikant resultat, ville studiet måske aldrig blive publiceret.
Mange forhold kan have indflydelse på, hvorfor nulfunds-studier ikke udkommer. Hvis forskeren ikke kunne bekræfte sin hypotese, kan studiet hurtigt vurderes som uinteressant for både praktikere og tidsskrifter.
Men det kan være problematisk at lægge resultaterne i skuffen.
Hvis en forskerkollega på et senere tidspunkt forsøger at besvare samme spørgsmål, kan det ske, at de følger en ny sti og finder et signifikant resultat.
Nu vælger kollegaen at skrive en videnskabelig artikel om sit fund og sender den til et tidsskrift, som siger ja tak. På den måde skabes et ‘arkivskuffe-problem’, hvor nulfund gemmes væk, mens positive fund udgives.
Konsekvensen af denne ‘publikationsbias’ er, at vi får ensidige svar på de videnskabelige spørgsmål.
I haven (på illustrationen ovenfor) vil det svare til, at det kun er forskere, der ender ved bestemte træer, som får deres studier publiceret, mens dem, der finder vej til de øvrige træer, sjældent gør.
\ Om statistisk signifikans
Forskere bruger kort fortalt begrebet ‘statistisk signifikant’ i forbindelse med test af statistiske hypoteser. Udtrykket betegner, at det er usandsynligt at finde et forskningsresultat, der er mere ’ekstremt’ end det observerede, hvis hypotesens antagelser er korrekte.
En statistisk signifikant forskel på to grupper betyder med andre ord, at den observerede forskel er usandsynlig (ud fra en såkaldt ‘nul-hypotese’ om, at der ikke er forskel mellem grupperne).
I et studie af ny medicin kan det stilles op således: Hvis medicinen ikke har en effekt (= nul-hypotesen), hvor sandsynligt er det så at se den forskel, som studiet viser, mellem de deltagere, der får og ikke får medicin. Hvis denne sandsynlighed er lille, er studiets resultater statistisk signifikante.
LÆS OGSÅ: Hvad er P-værdi, og hvad betyder statistisk signifikans?
De ubetrådte stier i haven
Som forsker vil man aldrig vælge en tilfældig sti i haven. Man træffer oplyste valg, ligesom man forsøger at sætte tal på usikkerhederne forbundet med stien. I øvrigt skal man være åben om de metodiske forbehold og begrænsninger.
Men uanset hvor godt man argumenterer for sin valgte sti, vil der næsten med garanti være andre gode stier, man har fravalgt. Havde forskeren valgt en af disse andre stier, havde det potentielt ført til andre resultater.
Selv når forskere fremlægger en analyseplan på forhånd, der skal begrænse forskerens frihedsgrader, opstår samme problem. For selvom forskeren ideelt set fastholder én sti i haven, ændrer det ikke på, at andre stier forbliver ubetrådte.
Som et alternativ til at fokusere på én sti i haven, kan forskeren vælge at undersøge alle plausible stier på samme tid. Dette kaldes for multivers-analyse, der kan forstås gennem følgende eksempel.
Et hold forskere fandt, at kvindens frugtbarhed påvirkede hendes religiøsitet afhængigt af kvindens civilstatus. De gik ned ad én sti og fandt et signifikant resultat, der dog viste sig at hvile på et skrøbeligt fundament.
Da andre forskere efterfølgende benyttede multivers-analyse og fremsatte 120 plausible stier (det vil sige 120 andre kombinationer af valg), viste det sig, at kun syv af disse førte til det samme signifikante resultat.
De første forskere havde valgt netop én af de ganske få stier, der førte til et positivt fund.
Multivers-analyse kan altså bruges til at kortlægge haven for at undersøge gyldigheden af ens hovedspor. Og den kan blandt andet informere om, hvilke forgreninger i haven (forskerens valg) der er særligt afgørende for studiets resultater.
Et studie kan sjældent stå alene
Selvom en multivers-analyse kan belyse usikkerheden i et enkelt videnskabeligt studie, kan den ikke pege på det ‘korrekte’ resultat.
Læg dertil, at forskeren stadig selv skal afgøre, hvilke stier hun anser som plausible. Her må forskeren trække på sin ekspertise og domæneviden for at sikre, at de udvalgte stier hverken er for begrænsende eller for vidtrækkende.
Det er klart, at nogle studier som udgangspunkt vil stå stærkere end andre. Eksempelvis hvis datagrundlaget er stort og omfattende, men selv da må forskerne acceptere, at deres studie sjældent giver endegyldige og objektive svar.
I stedet må man indse, at viden er noget, der opbygges langsomt på tværs af mange studier, mange forskere og gennem mange betrådte haver.
Næste gang du læser om et nyt og spændende videnskabeligt studie, så husk på, at studiet sjældent kan stå alene. Det skal typisk læses og forstås i sammenhæng med andre studier på området.
Det er først, når et klart mønster gentager sig på tværs af denne mangfoldighed, at vi for alvor er blevet klogere.
