Råd 11: Mus eller mennesker? Spørg til forskningsmetoden

Dyreforsøg, feltstudier, spørgeskemaundersøgelser og matematiske modeller. Forskere bruger et væld af forskellige metoder til at blive klogere.

Alle metoder har fordele og ulemper, men nogle metoder giver mere solid viden end andre.

Hvis du vil blive bedre til hurtigt selv at vurdere, om ny forskning er en stor historie eller ej - og om historien er værd at gå videre med - kan det derfor være en god idé at sætte sig lidt ind i forskernes metoder.

Det er dog lettere sagt end gjort, for der findes enormt mange typer videnskaber, som bruger vidt forskellige metoder. Det er umuligt at kende dem alle ud og ind.

Men det behøver du heller ikke.

Den bedste vej frem er: Spørg forskerne, hvad de største styrker og svagheder er ved studiets metode. Spørg både forskerne bag studiet og en udenforstående forsker.

Tips til gode spørgsmål, du kan stille forskerne

I denne artikel får du gode, konkrete tips til relevante spørgsmål, du kan stille forskerne om metode indenfor forskellige forskningsgrene.

Spring ned til de overordnede emner og spørgsmål her:

• Sundhedsvidenskab ⬇️
• Naturvidenskab ⬇️
• Samfundsvidenskab og humaniora ⬇️
• Kvalitativ forskning ⬇️

Sundhedsvidenskab: Evidenshierarkiet kan bruges som rettesnor

Hvis man skal dække sundhedsvidenskab, findes der et redskab, som kan hjælpe med at rangordne, hvor meget man kan stole på et studies resultater: Evidenspyramiden.

Næsten al forskning i sundhed kan placeres i evidenspyramiden, afhængigt af hvordan forskerne har designet deres studier. Jo højere oppe i pyramiden et studie befinder sig, jo mere solid er den konklusion, forskerne drager - og omvendt.

Når du interviewer forskerne om sundhedsvidenskab, kan du med fordel spørge dem:

• Hvilken metode har de brugt? Bed dem eventuelt om hjælp til at placere studiet i evidenspyramiden.
• Hvilke forbehold er der ved studiets metode i forhold til at kunne overføre resultaterne til virkeligheden?

Og pas i øvrigt altid på med alt for bastante og skarpe vinkler og rubrikker, når du fortæller om et studie, som befinder sig i bunden af evidenshierarkiet.

Pyramidens lag - metodernes styrker og svagheder

Nederst i pyramiden: Anekdoter, ekspertvurderinger, laboratorie- og dyreforsøg

Nederst i evidenspyramiden er anekdoter (casestudier, der følger enkelte personer), ekspertvurderinger, laboratorie- og dyreforsøg. Det er metoder, der giver ingen eller begrænset evidens for, om noget har en effekt på mennesker.

Anekdoter og ekspertvurderinger rangeres meget lavt, fordi det er utrolig svært at vide, hvad man skal tage højde for, når man skal vurdere udtalelser fra enkeltpersoner. Eventuelle interessekonflikter kan influere på, hvad en ekspert mener, og vedkommende kan måske være så meget inde i sit eget forskningsfelt, at der opstår blindhed for andre forklaringer, eller eksperten har måske ikke fuldt overblik over den eksisterende forskning.

Anekdoter og ekspertvurderinger kan derfor kun bruges til at give hypoteser. Da en enkelt person for eksempel havde mistet lugtesansen efter COVID-19, var der tale om en anekdote. Men efterhånden, som flere tilfælde blev beskrevet, dannede det grobund for en hypotese om sammenhæng mellem COVID-19 og mistet lugtesans.

Dyrestudier giver ligeledes lav evidens. Utallige studier, der har fundet, at en bestemt medicin virker i dyr, har efterfølgende vist sig ikke at gælde for mennesker.

Alligevel er det en klassisk faldgrube i nyheder om sundhedsforskning, at journalisten lægger op til, at resultater fra mus uden videre kan overføres til mennesker.

For eksempel skrev dagens.dk i 2016 en artikel om, at et glas rødvin kan gøre det ud for en time i træningscenteret. At forsøget var lavet på mus, fremgik ikke. Efterfølgende blev mediet kontaktet af 'TjekDet' fra Mandag Morgen, hvorefter påstanden blev trukket tilbage.

Sagen er nemlig, at mus og mennesker genetisk set er så forskellige, at der skal meget mere end musestudier til at konkludere noget om mennesker.

Laboratorieforsøg eller dyreforsøg kan altså primært bruges til at finde biologiske mekanismer eller fingerpeg om, hvordan tingene ser ud i mennesker. Det skal så undersøges videre i nye studier.

I midten af pyramiden: Befolkningsundersøgelser

Befolkningsstudier, også kaldet observationsstudier, populationsstudier, kohortestudier og registerstudier, kan som udgangspunkt fortælle mere om generelle tendenser i virkelighedens verden, fordi de ofte bygger på store mængder data om mange mennesker.

Befolkningsstudier kan finde såkaldte korrelationer (statistiske sammenhænge) - det vil sige koblinger mellem to eller flere faktorer.

Det kan lyde overbevisende, men du skal imidlertid stadig gå kritisk til værks over for befolkningsstudier. Der kan nemlig være alverdens andre faktorer, der spiller ind på resultatet. Det kan du læse mere om i råd 7: Pas på typisk fejl i nyheder om statistik, hvor vi gennemgår, hvorfor man skal være varsom med at overfortolke korrelationer.

Vær også bevidst om, at i pressemeddelelser fra universiteterne bliver konklusioner i befolkningsstudier (og andre typer studier) indimellem oversolgt som mere sikre og endegyldige, end de faktisk er. Hvis du får en pressemeddelelse fra et universitet, skal du derfor gå lige så kritisk til den, som hvis du får en pressemeddelelse fra Christiansborg (læs også råd 4 og råd 5).

Næstøverst i pyramiden: Lodtrækningsforsøg

I lodtrækningsforsøg, som også kaldes randomiserede kontrollerede forsøg (RCT), bliver forsøgsdeltagerne tilfældigt (ved lodtrækning) inddelt i grupper. Den ene får den behandling, forskerne vil teste effekten af, mens en eller flere kontrolgrupper får enten placebo (eksempelvis en pille uden effekt), en anden type behandling, eller de fortsætter med at leve, som de altid har gjort.

Lodtrækningsmetoden kan hjælpe til at finde såkaldt kausalitet (årsagssammenhænge). Altså, at noget fører til noget andet – for eksempel at et lægemiddel virker mod en sygdom.

Metoden anses for at være den mest solide form for forsøg inden for sundhedsforskning, men selv lodtrækningsforsøg har nogle brister. For eksempel kan de sjældent måle langtidseffekter, der går ud over den tid, forsøget varer.

Læs mere om svaghederne i artiklen Ikke al forskning giver lige meget evidens: Lær at skelne.

Helt i toppen af pyramiden: Litteraturgennemgange

I toppen af pyramiden ligger de såkaldte litteraturgennemgange, som du måske også har hørt omtalt som metaanalyser og systematiske reviews.

Studier, der bruger denne metode (og især reviews af lodtrækningsforsøg), giver som udgangspunkt den højeste form for evidens, fordi forskerne gennemtrawler tidligere forskning, der er lavet på et område, og laver en samlet konklusion på den baggrund.

Du skal dog stadig huske, at litteraturgennemgange også kan have svagheder, hvis der ikke er lavet særlig mange gode studier på et givent område.

I artiklerne ’Virker mundbind? Sådan bruger du evidenspyramiden til at finde svar’ samt ’Ikke al forskning giver lige meget evidens: Lær at skelne’ på Videnskab.dk kan du læse mere uddybet om, hvad der kendetegner de forskellige metoder i evidenspyramiden.

Læs flere gode råd ved at klikke på de blinkende ikoner til venstre i grafikken her. Artiklen fortsætter nedenfor.

Naturvidenskab: Gode spørgsmål til metode

Desværre findes der ikke et lignende evidenshierarki, der kan hjælpe med at rangere metoderne, hvis din historie handler om andre videnskaber end sundhed.

Indenfor naturvidenskab (for eksempel biologi, klima eller astronomi) bruger forskerne forskellige kvantitative metoder.

De går overordnet ud på at indsamle en masse data, der kan kortlægge sammenhænge og tendenser. Eksempelvis hvis biologer vil undersøge, hvor mange insekter der er forsvundet over tid.

Hvis du sidder med et komplekst studie og ikke kan afkode, om der er tale om en stor historie eller ej, kan disse spørgsmål være en hjælp:

• Hvor præcis er den data, forskeren har brugt? Jo mere præcis og repræsentativ data er, des mere solid bliver konklusionen. Hvis forskeren for eksempel har undersøgt Jordens klimaændringer over tid, er mængden af data i studiet så solid og retvisende nok geografisk og tidsmæssigt?
• Hvor stor og fyldestgørende er undersøgelsen? Hvor meget data bygger undersøgelsen på? Er der for eksempel taget en vandprøve i en enkelt sø eller hundredvis af vandprøver fra et bredt udsnit af danske søer?
• Tager studiet højde for fejlkilder? Kan forskeren med sin metode udelukke, at der kunne være andre forklaringer på resultaterne? Hvis forskerne eksempelvis har fundet en ny exoplanet (planeter, der kredser om andre stjerner end vores egen sol) mange lysår væk, så vil der uvilkårligt være mange potentielle fejlkilder, som kan forstyrre målingerne - det kan være alt fra detektorstøj og atmosfæriske forstyrrelser, til at planetens stjerne kan have solpletter, som får den til at pulsere.
• Hvordan adskiller de nye data sig fra det, vi allerede ved?

Samfundsvidenskab og humaniora - gode spørgsmål til metode

Inden for samfundsvidenskaberne (såsom økonomi og politik) og humaniora (eksempelvis arkæologi, historie og lingvistik) kan metoderne ligeledes være vidt forskellige og dermed svære at sammenligne eller bedømme for journalister.

Men da mange forskere inden for samfundsvidenskab og humaniora også ofte bruger kvantitativ metode - for eksempel meningsmålinger, spørgeskemaundersøgelser, fortolkninger af arkivmateriale og kulstof-14-laboratorieanalyser - kan du som udgangspunkt genbruge de ovenstående spørgsmål til naturvidenskabelig metode.

Desuden kan du spørge til:

• Hvor stærk er dataen? Jo mere præcis og repræsentativ data er, des mere solid bliver konklusionen. Vil man for eksempel vide, hvordan H.C. Andersen tænkte, giver hans dagbøger bedre indsigt, end tekster andre har skrevet om ham.
• Hvor repræsentative er forsøgsdeltagerne i forhold til at kunne overføre deres udsagn, meninger og oplevelser til andre? Mange amerikanske studier inden for socialpsykologi og adfærdsøkonomi benytter eksempelvis collegestuderende som forsøgsdeltagere, men forskning har peget på, at det langtfra er sikkert, at disse unge mennesker, der som oftest er hvide og velstillede, kan sammenlignes med andre befolkningsgrupper.
• Er der noget, der lyder helt vildt? Hvis en arkæolog eksempelvis finder en fossileret tand og en kæbe og ud fra det konkluderer, at der er tale om en ny menneskeart, så stil forskeren spørgsmål, der kan afklare, hvilke forbehold du skal have med i din artikel eller dit indslag.

Hvis der er tale om en spørgeskemaundersøgelse kan du også spørge:

• Hvilke usikkerheder kan der være forbundet med svarene? I spørgeskemaer bliver folk spurgt om noget, og så formulerer de et svar. Men det kan være spørgsmål, de aldrig har tænkt over – og derfor er svaret måske forholdsvis tilfældigt, og de ville svare noget andet ugen efter. Eller spørgsmålets formulering kan betyde, at folk svarer det, som, de tror, ser godt ud. For eksempel hvis der spørges til, hvor meget alkohol man drikker - så er det ret usikkert, om folk faktisk svarer sandt.

Kvalitative metoder - gode spørgsmål

Sommetider vil du dog også støde på kvalitative metoder - dette gælder ofte i forbindelse med psykologi og antropologi.

En typisk journalistfejl er, at man bruger kvalitative studier til at sige noget om kvantitet (‘hvor udbredt’ og ‘hvor typisk’) – og det kan man ikke.

Kvalitative studier forsøger i stedet at udvikle en større forståelse af, hvordan vi mennesker opfatter verden, typisk gennem dybdegående interviews og observationer af et begrænset antal mennesker. Det kunne være for at undersøge, hvad danskhed er, eller hvorfor nogle mennesker begår mord.

LÆS OGSÅ: Hvad i alverden kan man bruge kvalitativ forskning til?

Hvis du skal vurdere, om den kvalitative metode er stærk eller svag, kan du grave i følgende:

• Har forskerne ledt efter noget og glemt at inddrage eksempler, der peger i den modsatte retning? Denne potentielle fejlkilde kan i øvrigt forekomme på tværs af alle videnskabsfelterne. Et godt råd til at undersøge, om det skulle være tilfældet, er, at du spørger forskeren ind til, om der kunne være en anden forklaring på konklusionen, eller om der er forskere, der er uenige.
• Hvilke usikkerheder kan der være forbundet med forsøgsdeltagernes svar? De mennesker, forskerne studerer, vil typisk også give det svar, de tror, forskerne gerne vil høre. Eller det modsatte. Der kommer med andre ord let en bias (skævvridning) ind.
• Har forskerne talt med tilstrækkeligt mange mennesker, til at man har afdækket de vigtigste pointer? Forskerne kalder det at ’mætte’ materialet, hvilket vil sige, at man er kommet så grundigt rundt om sit emne, at flere interview næppe vil afdække afgørende nyt.

Husk til slut: Du skal ikke være ekspert i metoder for at kunne skrive om forskning, men det kan hjælpe dig, hvis du kender til de overordnede principper bag.

Det allervigtigste er dog, at du altid sørger for at bede en eller flere uvildige forskere om en vurdering af metoden.