Nogle gange kan man få oplevelsen af, at forskningen modsiger sig selv. Man kunne måske mistænke journalisterne for at lave fejl eller være lidt for ivrige med konklusionerne, når de formidler det svære stof. Det er måske også tilfældet nogle gange. Men det kan faktisk også skyldes forskerne selv.

En ny undersøgelse, udgivet i det anerkendte tidsskrift Nature Neuroscience, viser, at over halvdelen af hjerneforskningsartikler udgivet i højtprofilerede tidsskrifter rummer en alvorlig fejl i den statistiske analyse af forsøgsdata. Det fører ofte til en fejlagtig konklusion. 

»Fejlen er meget udbredt og skyldes, at forskere ved for lidt om statistik. Det gør, at de bruger en forkert analysemetode og i mange tilfælde finder en signifikant effekt, hvor de ikke burde,« siger Peter Allerup, professor i statistik på Institut for Pædagogik og Uddannelse ved Aarhus Universitet. Han har ikke selv medvirket i undersøgelsen.

Fejlanalyse leder til forkerte konklusioner

Problemet opstår, når forskere indsamler flere datasæt fra det samme forsøgssubjekt – menneske eller dyr - og behandler hvert sæt, som var det indsamlet fra forskellige forsøgssubjekter.

Flere datasæt per forsøgssubjekt kaldes også korrelerede data eller klynge-data og er en god videnskabelig metode, hvis der for eksempel ikke er penge til flere forsøgssubjekter. Men klyngedata kræver en helt særlig analysetilgang, før resultatet også bliver pålideligt, konstaterer Peter Allerup.

»Med den rigtige analysemetode er der kun cirka fem procent sandsynlighed for fejlagtigt at konkludere statistisk signifikans, uden der faktisk er det. Men når man analyserer klyngedata med den forkerte metode, så er der op til 80 procent risiko for finde en ukorrekt statistisk signifikans,« siger Peter Allerup.

Ud af de 314 hjerneforskningsartikler, der blev gennemgået i undersøgelsen, indeholdte 53 procent klyngedata, og ingen af de 53 procent blev analyseret med en passende statistisk metode, konkluderer forskerne bag den nye undersøgelse.

»Man kan derfor forvente fejl i langt størstedelen af disse studier baseret på klyngedata,« siger Peter Allerup.

Forskere mangler kendskab til statistik

Hjerneforskningen er dog ikke engang den videnskabelige gren, hvor fejlen bliver begået oftest, vurderer Peter Allerup. Han mener, at fejlene findes og finder sted i endnu højere grad i psykologien og biologien.

»Forskere uden en længere uddannelse i statistik anvender ofte simple statistiske analysemetoder til at analysere klyngedata, og det giver altså i høj grad forkerte resultater,« siger Peter Allerup.

Peter Allerup bliver bakket op af Kim Mouridsen, lektor ved Institut for Klinisk Medicin og statistiker ved Center for Funktionelt Integrativ Neurovidenskab på Aarhus Universitet.

»Desværre er det en udbredt fejl i den videnskabelige litteratur. De får sjældent mere end få måneders træning i statistik og har derfor ikke baggrunden for at vide, hvordan klyngedata skal behandles. Her kunne man med fordel sparre med en professionel statistiker, når man har indsamlet sine data,« siger Kim Mouridsen. Han har heller ikke selv været med til at lave undersøgelsen, men arbejder med statistik inden for hjerneforskningen til daglig.

Forskere handler ikke i ond tro

Kim Mouridsen mener ikke, at forskerne bevidst vælger en forkert analyse for at nå frem til nogle særlige resultater.

»Jeg har arbejdet med statistik og hjerneforskning de seneste 12 år, og jeg har endnu ikke mødt en forsker, der har forsøgt at snyde sig til et mere interessant resultat, så det tror jeg virkelig ikke er tilfældet,« siger Kim Mouridsen.

Heller ikke Peter Allerup mener, at det er sådan, det hænger sammen.

»Forskere har ikke interesse i at snyde, men det giver bare rigtig god mening at benytte klyngedata, da det som udgangspunkt giver bedre forskning. Men selv den bedste forskning kan falde til jorden i hånden på amatører. Derfor skal uddannelserne i statistik også forbedres,« siger Peter Allerup.

Uddannelserne skal forbedres

Desværre er det en udbredt fejl i den videnskabelige litteratur. De får sjældent mere end få måneders træning i statistik og har derfor ikke baggrunden for at vide, hvordan klyngedata skal behandles. Her kunne man med fordel sparre med en professionel statistiker, når man har indsamlet sine data.

Det er forholdsvist nyt at indsamle klyngedata i forskningen. Derfor er uddannelsesinstitutionerne ikke blevet klar over problemets omfang endnu. Men det kan man håbe vil ændre sig med undersøgelser som denne, konstaterer Kim Mouridsen.

»Det er op til undervisningsinstitutionerne og ph.d.-vejledere at sikre, at nye forskere bliver klædt på til at forstå statistik i et tilstrækkeligt omfang, så det her problem kan kommes til livs. Men det er samtidig også et problem, som tidsskrifterne skal være opmærksomme på,« siger Kim Mouridsen.

Før en forskningsartikel bliver godkendt til publicering i et videnskabeligt tidsskrift, så skal den gennemgås af uafhængige forskere for at sikre, at artiklen er lavet godt nok og ikke indeholder snyd.

»Undersøgelsen her viser, at selv de dygtige videnskabsfolk, der sidder bag de mest populære tidsskrifter, laver fejl på dette område. Det kan skyldes, at mange professionelle statistikere får job i den private sektor. Derfor synes jeg også, at det er synd, at den gamle matematiske statistikuddannelse på H.C. Ørsted-Instituttet, som Danmark engang var kendt for, er blevet nedlagt,« siger Peter Allerup.

»Man kan håbe på, at artikler som denne kan øge opmærksomheden på problemet, og forskeres kendskab til statistik højnes.«

Software skal hjælpe forskere

I løbet af de seneste par år, er der kommet nye computerprogrammer, der skal hjælpe forskere med at vælge analysemetode ved spørge dem om deres forskningsdesign, og hvordan de har indsamlet data.

Med en konstant udvikling af denne forskningssoftware, mener Kim Mouridsen, at det vil hjælpe på problemet.

»Disse programmer vil gøre, at man ikke behøver at være professionel statistiker for at lave en kompleks statistisk analyse, som for eksempel klyngedata kræver. Med brugervenlige programmer giver man i stedet forskere et redskab, der kan hjælpe dem til at forstå deres data på et højere niveau,« siger Kim Mouridsen.

»Samtidig kan man håbe, at andre tidsskrifter vil følge med Nature, der er en stor videnskabelig autoritet, og blive mere opmærksomme på dette problem.«