Statistik får journalister til at overdrive forskning

Man kan ikke altid sætte lighedstegn mellem forskning og journalisters udlægning af den. Det fortæller to danske eksperter på området.

Hvor mange gange har du ikke læst, at forskere nu var en hårsbredde fra at have en kur mod kræft, eller for den sags skyld at klimaforandringer ikke nødvendigvis er menneskeskabte?

Hvis du følger lidt med i mediebilledets dækning af forskning, har du hørt det rigtigt mange gange.

Men hvor bliver kuren mod kræft af, og hvem har ret beset skabt klimaforandringerne? Går forskningen i stå, eller har journalisten overdrevet resultatet?

Lektor Kristian Hvidtfelt Nielsen fra Aarhus Universitets Center for Videnskabsstudier, og post. doc ved Center for Makroøkologi, Evolution og Klima ved Københavns Universitet Michael Krabbe Borregaard fortæller, at journalister ofte har svært ved at manøvrere i forskningens statistiske forbehold og usikkerheder, og derfor ender med at udelade dem. Det får tit journalistens fremlægning af forskningsresultater til at virke mere konkluderende, end de egentlig er.

Michael Krabbe Borregaard forsker selv i brugen af statistiske modeller til udredning af økosystemer og ved, at forholdet mellem statistik, resultater og læsevenlig fremlægning af forskning i medierne ofte er en svær nød at knække, da forbehold og uvished kan være kedeligt for læserne.

Kristian Hvidtfelt Nielsen har i mange år beskæftiget sig med forskningsformidling i det generelle mediebillede. Han har blandt andet kigget på, hvordan journalisters udlægning af klimadebatten hænger sammen med den aktuelle forskning på området. Kristian Hvidtfelt Nielsen er desuden en af Videnskab.dks faste bloggere.

Klimadebatten der blev afsporet

I tilfældet med klimadebatten er forbeholdene og uvishederne dog ikke fjernet af journalisterne – tvært imod. Her er tvivlen så interessant, at den er trukket frem og på den måde skaber et skævt mediebillede at den aktuelle konsensus i forskningskredse.

»Hvis man kigger på klimadebatten, har det længe virket på mediebilledet som om, at der i forskningskredse er reel tvivl om, hvorvidt klimaforandringerne til en vis grad er menneskeskabte. Det er misvisende. Det skyldes blandt andet, at journalister så vidt muligt bestræber sig på at repræsentere begge sider i en sag, og det gælder også selv om den anden part – altså de såkaldte klimabenægtere – i dette tilfælde ikke har videnskabelig autoritet,« fortæller lektor Kristian Hvidtfelt Nielsen.

Journalister laver fri fortolkning af statistik

Årsagen til forskelligheden i forskernes og journalisternes fremlægning af forskningen skal også mange gange findes i den måde, forskning bliver bedrevet på.

Når forskere opstiller hypoteser, så tester de aldrig statistisk, om en hypotese er korrekt. De kan højest teste om den er ukorrekt. Derfor opstår der automatisk et forbehold i forhold til visheden af resultatet.

»Når eksempelvis en biolog skal finde sammenhænge mellem forhold i naturen, så tager han udgangspunkt i observationer. På baggrund af de observationer opstiller han en hypotese, om at der er en sammenhæng mellem forholdene. Men ifølge statistisk teori kan man aldrig med sikkerhed bekræfte en hypotese – kun afkræfte hypoteser, der ikke passer med ens observationer.«

»Derfor formulerer man klassisk en såkaldt nul-hypotese, altså at der ikke er nogen sammenhæng mellem forholdene. Og den nulhypotese tester man så. Såfremt man kan modbevise nul-hypotesen, har man sandsynliggjort, at der en sammenhæng. Men man har altså ikke bevist, at der er en sammenhæng, eller hvad den sammenhæng er,« forklarer Michael Krabbe Borregaard.

Journalisten springer led over

Samtidig med at forskningen altså ikke direkte beviser en sammenhæng, så er der desuden ofte flere led imellem afhængighedsforhold mellem to faktorer, som journalisten springer over.

Et eksempel fra den virkelige verden er den observation, at der er flere dyr i tropiske områder på jorden, end der er andre steder.

»Et område med mere vand og højere temperaturer har stort set altid også flere dyrearter. Nogle forskere har taget dette som et bevis for, at klimaet begrænser, hvor mange arter der kan leve sammen, eksempelvis ved at afgøre hvor hurtigt planter vokser, og derved hvor meget føde der er til dyrene.«

»Men det kan lige såvel være, fordi der ganske enkelt findes flere dyrearter, der er tilpassede til et tropisk klima. Det meste af jorden har nemlig været tropisk gennem lange perioder de sidste 40-50 millioner år. At klimaet og artsantallet hænger sammen, er ikke nødvendigvis noget bevis for, at der er en direkte årssagssammenhæng. Forskel mellem statistisk sammenhæng og årssagssammenhæng kan ofte være svært for journalister at få formidlet præcist,« fortæller Michael Krabbe Borregaard.

Journalister skal være mere opmærksomme i fremtiden

Netop problemerne med at holde styr på forskellen mellem sammenhæng og statistisk sammenhæng kan meget vel blive sværere for journalister i fremtiden.

I takt med at data-mængden bliver større inden for mange forskellige forskningsområder såsom geografi, lægevidenskab og klima, stiller det store krav til nye statistiske analysemetoder. Mange af de statistiske metoder, der traditionelt bliver benyttet i forskning, er udviklet i starten af 1900-tallet, og er baserede på at kunne udregnes med blyant og papir. I dag åbner computere op for udviklingen af nye statistiske beregningsmodeller med langt flere muligheder end de traditionelle metoder.

I december 2011 præsenterede et forskerhold fra verdens førende universiteter MIT, Harvard, Oxford og Cambridge et nyt statistisk værktøj i det meget velansete videnskabelige tidsskrift Science. Værktøjet kaldet MIC (Maximal Information Coefficient) gør det muligt for forskere inden for alle videnskabelige felter at fiske efter selv ikke-lineære sammenhænge i gigantiske data-sæt.

Med MIC er det muligt for forskere at undersøge eksempelvis globale sammenhænge mellem helbred og livsstil blandt mennesker verden over eller sammenhængen mellem lønniveau og specifikke færdigheder for sportsudøvere. Her kan forskerne så finde ikke-lineære sammenhænge mellem to faktorer, som måske uventet er koblet til hinanden.

»Klassisk leder man efter lineære sammenhænge mellem to variabler. Eksempelvis er der en nogenlunde lineær sammenhæng mellem mængden af plantevækst og antallet af dyrearter, men en del sammenhænge er ikke-lineære. For eksempel er der som regel størst artsrigdom cirka halvvejs oppe af et bjerg, og den slags sammenhænge kan være sværere at få øje på med klassiske statistiske metoder. Dem opdager et redskab som MIC,« forklarer Michael Krabbe Borregaard.

Hold tungen lige i munden

Men resultatet skal behandles varsomt. En journalist kan hurtigt gøre en løs sammenhæng mellem to faktorer til årsag og virkning, selvom forskerne bag opdagelsen er lidt mere tilbageholdende med at konkludere det samme.

»Her er det vigtigt at holde tungen lige i munden. Med nutidens store data-sæt kan man lave det, der hedder data-mining, hvor man leder efter nye sammenhænge mellem mange forskellige variable. Efterfølgende følger så et arbejde med at afklare, hvilken mekanismer der ligger bag de sammenhænge, man finder. Men det er klart, at mange sammenhænge ikke er direkte, og årsagssammenhængen kan være svær at belyse,« fortæller Michael Krabbe Borregaard.

Mammutter er oversolgt

Netop de indirekte sammenhænge kan være overraskende og derfor kræs for journalister, der i forbifarten undlader alle forskerens kedelige forbehold. Men ret beset, så er det også journalistens job at betone det spændende og nye i videnskabens resultater. Og der kan det gøre historierne unødvendigt kedeligt at medtage alle de faglige forbehold.

»Tag eksempelvis mammutten. Der sidder et internationalt forskningsmiljø på samlet set flere hundrede forskere og beskæftiger sig med, hvorfor den uddøde. Der sker jo fremskridt, og mange af forskerne udgiver flere artikler om året, når en eller anden detalje falder på plads. Der kan det være meget fristende for en journalist at skrive: ”Mammuttens gåde er løst”, hver gang der kommer et nyt studie,« siger Michael Krabbe Borregaard og tilføjer:

»Men den videnskabelige proces er altså en del langsommere end journalistikken. Sandheden er, at selvom forskerne gør fremskridt, så er mammuttens uddøen stadig et mysterium, og det vil det formentlig også være et godt stykke ud i fremtiden«

Forskere føler sig ikke misforståede

Men selvom journalister forenkler forskningen, så tror Michael Krabbe Borregaard ikke, at forskerne har en forståelse af at være misforståede eller oversolgt.

»Nogle gange bliver det solgt lidt kraftigt, men sådan skal det også være. Tit er det konkurrenternes resultater, der bliver oversolgt,« griner han.

Det er på en måde journalisters fornemste opgave at overdrive forskningen, forklarer Kristian Hvidtfelt Nielsen:

»Videnskabsjournalistikken må gerne sætte tingene på spidsen for at gøre forskningen interessant og relevant. Aviser skal først og fremmest stimulere den offentlige debat, og derfor gør det ikke så meget, at forskningen er oversolgt. Det er i de videnskabelige tidsskrifters artikler, der granskes med en hel anden intensitet, at det er vigtigt, at forbehold og usikkerhed er med,« siger han.