Ikke al forskning giver lige meget evidens: Lær at skelne

I dagens Danmark er det nærmest umuligt at følge med i nyhederne, at scrolle ned ad sit Facebook-feed eller at læse et magasin uden at støde på formuleringen »Ny forskning viser …«.

»Nåh ok, når forskning viser det, må der være noget om det,« tænker du måske, når du spotter formuleringen.

Men vær på vagt: Forskning er ikke bare forskning. Der findes god og dårlig forskning, og der findes alle mulige forskellige måder at forske på.

Nogle typer videnskabelige forsøg giver stærkere evidens end andre. (Hvis du ikke er helt skarp på, hvad evidens betyder, kan du læse artiklen ‘Hvad er videnskabelig evidens?’)

Og nogle forskningsmetoder egner sig bedre til at undersøge bestemte ting end andre.

Læs i denne artikel lidt om, hvordan fire forskningsmetoder kan bruges forskelligt, når man vil teste, om eksempelvis et lægemiddel, en diæt eller en social indsats har en effekt – og hvad de ikke kan bruges til. Læs om, hvor meget og hvilken type evidens forskere får ud af at lave:

• Lodtrækningsforsøg
• Befolkningsundersøgelser (også kaldet registerstudier eller epidemiologisk forskning)
• Kvalitativ forskning (interviews og observationer)
• Dyre- og laboratorieforsøg

Lodtrækningsforsøg: Den gyldne standard

Lodtrækningsforsøg er toppen af poppen, hvis forskere vil teste, om noget har en effekt på mennesker, for eksempel om medicinsk cannabis virker mod smerter, eller om klassestørrelsen har en betydning for, hvor meget eleverne lærer.

Lodtrækningsforsøg – også kendt som randomiserede forsøg – bliver brugt til at teste, om noget forårsager noget andet. I sundhedsvidenskab og socialforskning bliver det betragtet som den eneste videnskabelige metode, der kan dokumentere en årsagssammenhæng.

LÆS OGSÅ: Korrelation eller kausalitet: Hvornår er der en årsagssammenhæng

I forsøgene bliver forsøgsdeltagere tilfældigt (ved lodtrækning) inddelt i to grupper: En forsøgsgruppe og en kontrolgruppe.

Forsøgsgruppen får den lægelige behandling eller den sociale indsats, forskerne vil teste effekten af. Kontrolgruppen får enten placebo, en anden indsats, eller de fortsætter med at leve, som de altid har gjort.

I gode lodtrækningsforsøg har forskerne styr på vigtige forhold, som eksempelvis:

• Forsøgspersonernes helbredstilstand, fysiske form, sociale status og/ eller andre forhold, der kan have betydning for, hvordan de reagerer på det lægemiddel eller den indsats, der bliver testet.
• Om forsøgspersonerne får andre former for behandling eller andre indsatser, end den der bliver testet.

Lodtrækning gør grupperne lige

Forsøgspersonerne i de to grupper skal gennemsnitligt være sammenlignelige. Hvis personerne i den ene gruppe er meget ældre eller mere overvægtige end dem i den anden gruppe, er der risiko for, at den effekt, forskerne måler, ikke skyldes det lægemiddel eller den indsats, de tester, men derimod personernes alder eller vægt.

Ved at fordele forsøgsdeltagerne tilfældigt – ved lodtrækning – kan forskerne udelukke, at forsøgsresultatet bliver påvirket af, at den ene gruppe er sundere, tykkere, fattigere eller på anden vis helt anderledes end den anden.

»Lodtrækningen sikrer, at de to grupper, man sammenligner, i gennemsnit er så ens som muligt,« siger Karsten Juhl Jørgensen, der er direktør på Det Nordiske Cochrane Center ved Rigshospitalet i København.

Gode forsøg er blindede

I et godt lodtrækningsforsøg ved forsøgsdeltagerne ikke, om de får det virksomme lægemiddel eller placebo – forsøget er blindet. På den måde forhindrer forskerne, at effekten skyldes forsøgsdeltagerne tro på, at det, de har fået, virker.

»I nogle tilfælde kan det også være vigtigt, at forskerne, der skal vurdere behandlingseffekterne, heller ikke ved, hvilke forsøgsdeltager, der har fået placebo, og hvem, der har fået det virksomme middel,« siger Karsten Juhl Jørgensen.

LÆS OGSÅ: Sådan laver man ny medicin

Lodtrækningsforsøg er øverst i hierarkiet

I sundhedsvæsenet og nogle gange på det sociale område arbejder forskere med et evidenshieraki (nogle gange bliver det illustreret som en pyramide). Øverst i hierakiet er forskningmetoder, som giver stærkest evidens for en årsagssammenhæng.

»Resultater fra den type studier, der ligger øverst i hierakiet, har størst sandsynlighed for at nå frem til en rigtig konklusion,« siger Karsten Juhl Jørgensen.

Jo lavere et studie befinder sig på skalaen, desto svagere evidens.

Lodtrækningsforsøg befinder sig i toppen af skalaen – lige under systematiske litteraturgennemgange, hvor forskere gennemgår al den forskning, der er lavet om et emne. Se hierarkiet herunder:

Lodtrækningsforsøgenes svagheder

Men selvom lodtrækningsforsøg befinder sig øverst i forskernes evidenshierarki, er der svagheder ved den type forsøg.

• Lodtrækningsforsøg kan sjældent måle langtidseffekter. De kan for eksempel sjældent fortælle noget om skadevirkninger, der opstår efter lang tids brug af et testet lægemiddel.
• Man kan ikke være sikker på, at et lægemiddel eller en social indsats har samme effekt på patienter eller borgere i virkeligheden, som det har i et forsøg, hvor forsøgsdeltagerne ofte skal opfylde bestemte kriterier for at være med, og hvor behandlingen foregår under meget kontrollerede forhold.
• Sjældne skadevirkninger er svære at påvise i lodtrækningsforsøg, da der ofte indgår for få forsøgspersoner.

LÆS OGSÅ: Lodtrækningsforsøg giver os ikke (hele) sandheden om effekterne af sociale tilbud

Lodtrækningsforsøg dur ikke til alt

Den sidste ting, du skal vide om lodtrækningsforsøg, er, at det langt fra er alting, man kan teste i den slags forsøg.

Faktisk er der utrolig mange ting, man ikke kan teste i et lodtrækningsforsøg:

»Hvis man for eksempel gerne vil undersøge de psykiske konsekvenser af at være forældre til et handicappet barn, kan man ikke bruge lodtrækningsforsøg. Andre typer studier må regnes for bedre til at vurdere den type spørgsmål, som kan være lige så vigtige,« siger Karsten Juhl Jørgensen.

Man kan heller ikke teste i et lodtrækningsforsøg, om rygning medfører lungekræft, for det ville det kræve, at en gruppe forsøgspersoner skulle ryge en masse smøger, mens en anden gruppe ikke skulle ryge.

For det første ville det være dybt uetisk at bede forsøgspersoner om at ryge.

For det andet viser skadevirkningerne af rygning sig først efter mange år, når rygerne er kommet op i alderen.

Hvis forskere skulle teste konsekvenserne af rygning i et kontrolleret lodtrækningsforsøg, ville de skulle holde styr på:

• Hvor meget forsøgspersonerne ryger
• Hvordan de ellers lever gennem hele deres voksenliv.
• At forsøgspersonerne holder sig til den tildelte gruppe gennem mange år.

Det er stort set umuligt at opfylde.

Befolkningsundersøgelser: Folkesundhed under lup

Effekten af tobaksrygning, alkohol, diæter og andre livsstilsfaktorer bliver derfor sjældent testet i kontrollerede lodtrækningsforsøg.

I stedet kan forskere lave store befolkningsundersøgelser, hvor de analyserer oplysninger om befolkningsgrupper og patienter, der er registeret i offentlige registre.

I store undersøgelser som eksempelvis de danske Kost, Kræft og Helbred eller Bedre Sundhed i Generationer, beder forskere tusindvis af mennesker om at svare på en lang række spørgsmål gentagne gange over en årrække.

På baggrund af svarene kan forskerne via patientregistre og andre offentlige registre følge med i, om noget kendetegner folk, der bliver ramt af bestemte sygdomme eller lever længere end andre.

For eksempel om unge, der drikker meget alkohol, oftere får en kræftdiagnose senere i livet, eller om folk, der spiser mange grøntsager, generelt er mere raske end andre.

Alt muligt kan påvirke resultatet

De store befolkningsundersøgelser giver altså forskerne mulighed for at følge menneskers helbredstilstand over tid, indsamle store mængder data og finde statistiske sammenhænge.

Ulempen ved befolkningsundersøgelser – også kaldet epidemiologisk forskning eller registerundersøgelser – er, at der kan være alle mulige forhold, der spiller ind på resultatet.

Det kan for eksempel være, at folk, der drikker meget alkohol, generelt lever mere usundt, og at det er deres usunde livsstil, ikke alkoholen i sig selv, der medfører, at de oftere får kræft eller blodpropper.

Forskere har videnskabelige metoder, der kan rense store datasæt for den slags fejlkilder – også kaldet konfoundere. Læs mere om det i artiklen Korrelation eller kausalitet: Hvornår er der en årsagssammenhæng.

»Desværre kan man kun tage højde for de kendte fejlkilder, ikke for de ukendte, og det kan være svært at opgøre fejlkildernes betydning præcist,« siger Karsten Juhl Jørgensen.

LÆS OGSÅ: Minister blokerer for forskning i danskernes sundhed

Resultatet skal genfindes

Selv om forskerne forsøger at udelukke fejlkilder, er det stadig problematisk at konkludere, om der er en årsagssammenhæng mellem for eksempel alkohol og kræft, hvis der kun er lavet en enkelt befolkningsundersøgelse, der finder en statistisk sammenhæng.

Resultatet af en befolkningsundersøgelse skal som minimum kunne genfindes i andre studier lavet af andre forskere, før man kan begynde at tale om, at der sandsynligvis er en årsagssammenhæng, også kaldet kausalitet.

»En enkeltstående epidemiologisk undersøgelse er første trin i en lang forskningsproces, hvor man gradvist kommer nærmere et svar på, om der er en årsagssammenhæng,« har Allan Linneberg, der er professor i epidemiologi på Københavns Universitet, tidligere forklaret til Videnskab.dk.

»I første omgang skal vi eller andre forskere kunne gentage resultatet – altså finde den samme korrelation i andre epidemiologiske studier. Hvis fundet kan gentages, stiger sandsynligheden for, at der er kausalitet,« fortsatte han.

Det gælder i øvrigt for alle typer forskning, at resultatet som udgangspunkt skal kunne genfindes i andre forsøg, før man kan være sikker på, at konklusionen holder vand.

Forskere kan ikke styre folks livsstil

I store statistiske befolkningsundersøgelser er det altså svært at isolere effekten af enkelte faktorer – for eksempel effekten af enkelte fødevarer eller alkoholindtag, fordi der altid vil være alt muligt andet i forsøgsdeltagernes livsstil, der spiller ind. Forskerne kan umuligt holde styr på alt, hvad folk spiser, drikker eller bliver udsat for gennem hele livet.

Derfor befinder befolkningsundersøgelser sig under lodtrækningsforsøg i forskernes evidenshierarki.

I boksen under artiklen finder du en række kausalitetskriterier, formuleret af den britiske epidemiolog Sir Austin Bradford Hill i 1965. Forskere bruger kriterierne til at vurdere, om et statistisk sammenhæng i en befolkningsundersøgelse er et tegn på, at der er en årsagssammenhæng.

LÆS OGSÅ: Statistiske faldgruber: Derfor er det afgørende at fortælle, hvad man vil undersøge

Kvalitativ forskning: Tæt på mennesker

Hvis forskere vil undersøge, hvilke psykologiske konsekvenser det har at være forældre til et handicappet barn, eller hvordan det opleves at være arbejdsløs, kan de hverken bruge lodtrækningsforsøg eller statistiske befolkningsundersøgelser.

De er nødt til at spørge forældrene eller de arbejdsløse selv.

Forskerne kan enten lave spørgeskemaundersøgelser, hvor folk svarer på en masse relevante spørgsmål, eller de kan tage ud og observere og lave dybdegående interviews med nogle af dem, der er berørte – i det tænkte tilfælde forældrene eller de arbejdsløse.

Kvalitativ forskning kaldes den type undersøgelser, hvor forskere laver dybdegående interviews og observationer af mennesker.

Kvalitativ forskning afdækker årsager

I kvalitativ forskning indgår typisk et begrænset antal mennesker. Forskningen resulterer ikke i målbare effekter, men kan give forklaringer på, hvorfor der er (eller ikke er) en effekt af noget – for eksempel hvorfor en indsats, der skal hjælpe arbejdsløse i job, ikke virker.

»I kvalitativ forskning undersøger man ikke udbredelsen af noget. Man forsøger i stedet at afdække mønstre i vores forståelser og praksisser, og hvordan de hænger sammen med de situationer, de kommer frem i – eksempelvis om det er inden for familien, sammen med venner, til fest eller på arbejde – hvilke dynamikker der er på spil,« har Bente Halkier, der er professor på Sociologisk Institut ved Københavns Universitet, tidligere sagt til Videnskab.dk.

Læs flere af professorens refleksioner i artiklen ‘Hvad i alverden skal man bruge kvalitativ forskning til?’ I artiklen fremgår det, at:

• Kvantitativ forskning – f.eks. befolkningsundersøgelser og lodtrækningsforsøg – kortlægger, at og hvor ofte noget sker.
• Kvalitativ forskning, afdækker, hvorfor det sker.

I kvalitativ forskning kan man i princippet kun konkludere noget om de få personer, der indgår i studiet, og den kontekst de befinder sig i. Derfor befinder kvalitativ forskning sig under både lodtrækningsforsøg og befolkningsundersøgelser i evidenshierarkiet, selv om kvalitative metoder altså også kan give svar på vigtige spørgsmål.

LÆS OGSÅ: Pædagogiske forskere i protest: Vores børneforskning bliver ikke anerkendt

Dyre- og laboratorieforsøg: Langt fra virkelighed

Dyreforsøg eller andre typer laboratorieforsøg er som udgangspunkt den svageste form for evidens ud af de typer forskning, vi beskæftiger os med i denne artikel.

Det skyldes, at laboratorieforsøg bliver udført under forhold, der langt fra ligner virkeligheden.

I laboratorie- og dyreforsøg tester forskere, hvordan et lægemiddel, en madvare eller noget andet påvirker biologien ved at lave forsøg på menneskeceller eller dyr – oftest mus eller rotter.

Overførligheden er begrænset

Dyr og celler er ikke det samme som en menneskekrop. Og ofte får dyrene en langt højere dosis af det, forskerne tester, end den dosis man får, når man bliver udsat for det i dagligdagen.

»Overførbarheden af resultaterne til det virkelige liv er begrænset, også fordi man ude i virkeligheden er udsat for alt muligt andet, der kan påvirke resultatet,« siger Karsten Juhl Jørgensen.

Forsøg i et laboratorium kan derfor sjældent stå alene, når man vurderer, om der er evidens for noget.

»De bidrager til evidensen, men der vil være begrænsninger. Man kan finde gavnlige virkninger af et lægemiddel eller en fødevare i et laboratorieforsøg, men i de fleste tilfælde er effekten ikke den samme ude i virkeligheden,« siger Karsten Juhl Jørgensen.

LÆS OGÅ: Danske hjerneforskere finder mulige fejl i publicerede museforsøg

Opsummering

Der findes ingen nedskrevne regler for, præcis hvor stærk evidens man får ud af at lave forskellige studier.

Det afhænger altid af, hvad man gerne vil undersøge og forskningens kvalitet: Hvor mange forsøgsdeltagere er der? Hvor godt har man håndteret fejlkilder? Og så videre.

Evidenshierarkiet, som vi omtaler i denne artikel, er skabt af forskere, der er interesserede i at afdække årsagssammenhænge og handler kun om forsøg, der undersøger effekten af behandlinger og livsstilsfaktorer.

Øverst i hierarkiet er lodtrækningsforsøg, som er de bedste til formålet, fordi man kan være rimlig sikker på, at den effekt, der måles, skyldes det, der bliver testet.

Nedenunder er befolkningsundersøgelser, som finder statistiske sammenhænge.

Derunder kommer kvalitativ forskning, der afdækker, hvordan folk oplever eller føler noget i en specifik kontekst.

Nederst er laboratorie- og dyreforsøg, der finder biologiske mekanismer.

LÆS OGSÅ: Kommunernes dilemma: Ikke muligt at få videnskabelig evidens for alle sociale tilbud

LÆS OGSÅ: Manifest: Vurder om forskningen er solid