Tusindvis af de seneste års neurovidenskabelige resultater kan i værste fald være lige til skraldespanden. For der er fundet fejl i de computersystemer, forskere bruger til at analysere skanningsbilleder af hjernen.
Helt konkret er der tale om resultater baseret på fMRI-skanninger. Den type skanning, forskere bruger til at finde områder i hjernen, der er aktive, når forsøgspersoner tænker på noget bestemt, ser på billeder af noget bestemt eller udfører bestemte opgaver.
»Det er en sag, som ryster hjerneforskerverdenen, for man har en enorm mængde litteratur, som er baseret på fMRI-skanninger,« siger Albert Gjedde, der er professor på Københavns Universitets Institut for Neurovidenskab og Farmakologi.
»En masse forskere har fået en masse artikler offentliggjort, som ikke har været forbundet med den nødvendige skepsis. Det nye studie viser, at den analysemetode, de har brugt, ikke lever op til de krav, der burde være,« fortsætter han.
LÆS OGSÅ: Overraskende studie: Skal hjernen tænkes helt om?
Computersystemer laver fejl
fMRI-skanninger er i de seneste par årtier blevet brugt i over 40.000 studier, og en lang række opsigtsvækkende resultater er kommet ud af det.
Populært har man talt om, at fMRI gav forskerne mulighed for at læse tanker.
Nu viser en undersøgelse publiceret i det videnskabelige tidsskrift PNAS, at de computersystemer, forskerne bruger til at analysere fMRI-billeder af hjernen, laver alvorlige fejl.
Det betyder, at der kan være forkerte konklusioner i tusindvis af psykologiske og neurovidenskabelige artikler, der i de senere år er publiceret.
LÆS OGSÅ: Danske hjerneforskere finder mulig fejl i publicerede museforsøg
Forskerne efterprøvede gamle analyser
De svenske forskere bag den nye undersøgelse fandt fejlen, da de analyserede fMRI-skanningsbilleder, der allerede havde været brugt i publicerede studier.
I alt analyserede forskerne skanningsbilleder af 499 forsøgspersoners hjerner.
Alle 499 personer havde været brugt som kontrolgruppe i de oprindelige forsøg. Det vil sige, at de var blevet bedt om ikke at tænke på noget specielt, da de blev skannet.
Forskerne delte nu de digitale fMRI-skanningsbilleder, som hver især består af millioner af små tredimensionelle billedelementer (voxels) ind i to grupper – en blev brugt som kontrol og en som forsøgsgruppe.
Derefter kørte forskerne billederne igennem tre forskellige computersystemer, der bliver brugt til at analysere fMRI-billeder. Systemernes algoritmer kan ved hjælp af komplekse statistiske udregninger finde små ændringer i enkelte voxels og i grupper af dem.
Ændringerne fortolker forskerne som hjerneaktivitet.
LÆS OGSÅ: Din hjerneaktivitet er lige så unik som dit fingeraftryk
Tre millioner analyser afslørede fejl
De svenske forskere gentog processen, indtil de havde lavet næsten tre millioner analyser.
\ fMRI-skanning
fMRI-skanning bruges til at måle, hvilke dele af hjernen, der er påvirket af forskellige følelser, tanker, aktiviteter og oplevelser.
Hjernen får energi gennem ilt og glukose i blodet, og når den arbejder – f.eks. når man tænker – øges blodgennemstrømningen. Ændringen i blodgennemstrømningen måles af fMRI-skanneren og kan ses som små pletter på skanningsbillederne.
Alle de personer, der leverede data til forsøget, hørte som sagt til kontrolgruppen i de oprindelige forsøg. Det vil sige, at de ikke havde tænkt på noget særligt, da de blev skannet.
Derfor burde der ikke være signal – altså tegn på øget aktivitet i deres hjerne – efter at algoritmerne havde analyseret deres billeder.
Men i alt for mange tilfælde spyttede algoritmerne falsk-positive resultater ud. Det vil sige, at de fandt signaler, selv om der ikke burde være nogen.
»Det svarer ikke til det, der blev offentliggjort i de oprindelige studier, så det betyder, at skanningsbillederne har været fortolket forkert,« siger Albert Gjedde.
Statistiske antagelser holder ikke
Ifølge de svenske forskere er problemet, at der er fejlagtige statistiske antagelser indbygget i algoritmerne.
Albert Gjedde forklarer:
»Den metode, man bruger til at analysere fMRI-billeder, bygger på en antagelse om, at signalerne er Gaussisk fordelt.«
I statistik er en Gaussfordeling en normalfordeling. En normalfordeling viser, hvordan et stort antal statistiske elementer fordeler sig omkring deres gennemsnit.
LÆS OGSÅ: Gauss’ normalfordeling styrer rumraketter
Aktivitet var ikke Gaussisk fordelt
De algoritmer, man har brugt til at analysere fMRI-billeder har en indbygget antagelse om, at den hjerneaktivitet, man måler hos kontrolgrupper – altså hos mennesker, der ikke tænker på noget særligt – alle er normalfordelt tæt på deres gennemsnit.
»Men den er ikke Gaussisk fordelt, viser svenskernes undersøgelse. Når algoritmernes statistiske antagelse er forkert, fører det til fejlkonklusioner. Det betyder, at man ikke kan fæste lid til de studier, der har brugt de her algoritmer,« siger Albert Gjedde.
Hvis signalerne havde fordelt sig, som antaget, skulle de have formet en klokkeformet kurve på en graf. Men den kurve der kom ud af algoritmernes beregninger, havde en lang hale.
Den lange hale viser, at der er mange afvigelser – eller signaler – der ikke burde have været der. I alt fandt de svenske forskere, at 70 procent af observationerne afveg alt for markant fra gennemsnittet.
Forskerne havde forventet at finde nogle få afvigelser, og den videnskabelige standard, der bruges ved fMRI-skanninger, foreskriver, at fem procent af udfaldene må afvige markant fra gennemsnittet.
Der er altså langt op til de 70 procent, de svenske forskere fandt.
LÆS OGSÅ: Danske forskere: Fejl i anerkendt klimamodel
Fejlen burde være fundet før
Ifølge en af forskerne bag studiet, lektor Anders Eklund fra Linköping Universitet i Sverige, er det yderst problematisk, at man først finder fejlen nu.
»På trods af, at fMRI er et meget populært redskab til at studere hjernens funktion, er de statistiske antagelser, man har brugt, kun sjældent blevet valideret med rigtige data,« siger Anders Eklund til tidsskriftet The Economist.
Han og kollegerne fandt tilmed en bug i en af algoritmerne. En bug er en grundlæggende programmeringsfejl i et computersystem. Fejlen får systemet til at opføre sig anderledes end tilsigtet.
LÆS OGSÅ: Computer-algoritme afslører videnskabeligt plagiat
Usikkerhed om mængden af fejl
Forskerne bag undersøgelsen anslår i deres videnskabelige artikel, at fejlen kan have konsekvenser for 40.000 offentliggjorte fund.
Efter nye beregninger har de nedjusteret tallet markant, men det er stadig foruroligende højt.
»Vi anslår, at omkring 3.500 publicerede studier kan være berørt,« skriver Anders Eklund i en mail til Videnskab.dk.
Det er en af hans medforfattere, Thomas Nichols, som har regnet sig frem til, at omkring 3.500 fMRI-studier har brugt de problematiske computersystemer på en måde, der højst sandsynligt har ført til fejl i studiernes konklusioner, forklarer han. Beregningerne kan du læse om i Thomas Nichols' blog Bibliometrics of Cluster Inference
Ikke alle de 3.500 fMRI-studier er helt ubrugelige, understreger Anders Eklund:
»Mange fund om den menneskelige hjerne baseret på fMRI-skanninger er blevet gentaget i flere studier af forskellige forskere, hvilket betyder, at fundene ikke er et falsk-positivt resultat. Vi kan ikke sige, hvor mange resultater der er direkte forkerte, da vi ikke har adgang til de originale data.«
