Under halvdelen af psykologiens resultater kan reproduceres

Jagten på viden er en lang og kringlet vej. Der er ingen fastlagte kriterier i videnskaben for, hvornår vi kan sige at have viden om verden.

Ét udbredt kriterium, som videnskaben skal forsøge at leve op til, er dog, at forskningsresultater skal kunne bekræftes af andre forskere og af andre undersøgelser, hvis resultaterne skal være troværdige.

Det er en udfordring, der nu rammer psykologien. I en ny undersøgelse, udgivet i det anerkendte tidsskrift Science, er det kun lykkedes forskerholdet at reproducere og bekræfte et signifikant resultat i 36 ud af 100 undersøgelser fra 3 respekterede psykologitidsskrifter (se faktaboks).

Derudover havde kun 47 procent af de reproducerbare undersøgelser en effekt på niveau med den oprindelige undersøgelse.

Fænomenet skyldes ikke snyd, vurderer forskerne bag den nye undersøgelse. Til gengæld er der problemer med den videnskabelige metodiske kvalitet i de oprindelige studier.

»Flere af studierne har for små datasæt til at kunne påvise et pålideligt resultat og understøtte konklusionen. Derfor kan resultatet også ændre sig, når man reproducerer undersøgelsen, som vi ser her,« siger Fred Hasselman i en mail til Videnskab.dk. Han er ph.d. på Radboud University i Holland og en af de 270 medforfattere fra hele verden, der har arbejdet sammen om at reproducere de 100 undersøgelser.

Forsker: Vanvittigt flot arbejde!

Det er et vanvittigt flot stykke arbejde, de 270 forskere har lagt for dagen, mener Ole Olsen, statistiker og seniorforsker på Forskningsenhed for Almen Medicin ved Københavns Universitet.

»De er gået meget grundigt til værks i deres forsøg på at reproducere de oprindelige studier ned til mindste detalje. På en måde er det ikke et overraskende resultat, de finder. Man ser de samme tendenser inden for medicin. De første offentliggjorte studier af et fænomen finder tit sensationelle sammenhænge og effekter. Men når andre forskere begynder at reproducere undersøgelserne, falder effektens størrelse, eller også kan der ikke påvises en sammenhæng,« siger Ole Olsen, som ikke selv har bidraget til den nye undersøgelse.

Tidsskrifter og forskere jagter de gode historier

Undersøgelser, der har opsigtsvækkende resultater, bliver hurtigere publiceret i et videnskabeligt tidsskrift end andre forskningsartikler, men resultaterne bliver også oftere afkræftet, når andre forskere reproducerer undersøgelsen, siger Ole Olsen.

»Det er mere interessant for både tidsskrifter og forskere at fremlægge en stærk effekt eller sammenhæng, da det skaber mere opmærksomhed. Derfor bliver disse sensationelle studier også publiceret hurtigere, end studier der påviser en svag effekt. Men det betyder også, at når man reproducerer studierne, så kan effekten ofte ikke bekræftes,« siger Ole Olsen.

Ønsket om at udgive opsigtsvækkende resultater bliver styrket af, at forskere i højere og højere grad er under pres for at publicere og have gennemslagskraft i forskningslitteraturen, siger Kristian Hvidtfelt Nielsen, lektor på Center for Videnskabsstudier ved Aarhus Universitet.

»Hvis man laver en psykologisk undersøgelse med 50 forsøgspersoner og ser en uventet stor effekt, så har man to muligheder: Enten skal resultatet ud, eller også skal man holde det tilbage og fortsætte med forskningen. I dag tror jeg, de fleste forskere ville vælge at forsøge at udgive. Og tidsskrifterne har også tendens til at lade undersøgelsen slippe igennem på grund af den stigende konkurrence,« siger Kristian Hvidtfelt Nielsen efter at have læst den nye forskningsartikel.

Fænomenet skyldes dog ikke uredelighed eller uærlighed fra tidsskriftets side, mener Kristian Hvidtfelt Nielsen.

»Forskerne, der laver peer review for det videnskabelige tidsskrift (se faktaboks), har mange hensyn at skulle tage. Personen skal også vurdere forskningen ud fra originalitet, og om forskningen udvikler feltet. Undersøgelsen kan jo godt være spændende og give et nyt perspektiv på et område, selvom forskningen er lavet på få forsøgspersoner, og den påviste effekt derfor ikke altid holder, når undersøgelsen reproduceres.«

LÆS OGSÅ: Banebrydende forskning overses

Forsker: Psykologisk forskning er skam sund nok

Det er et sundhedstegn, at en videnskabelig gren går sig selv efter i sømmene, som disse 270 forskere har gjort, mener lektor Claus Emmeche.

»Det virker måske voldsomt, at ikke flere resultater kan gengives, men undersøgelsen her skal faktisk ses som et sundhedstegn. Det store hold af psykologer, der står bag, forsøger at styrke deres fags videnskabelighed ved at gå sig selv kritisk efter i sømmene. Det er et sundt tegn,« siger Claus Emmeche, leder af Center for Naturfilosofi og Videnskabsteori og lektor på Institut for Naturfagenes Didaktik ved Københavns Universitet.

Heller ikke Kristian Hvidtfelt Nielsen mener, at det er et problem, at psykologiens forsøg ikke altid lader sig reproducere.

»Videnskaben skal ses som en stor organisme, der korrigerer sig selv på sigt, så de resultater, der ikke holder stik ved nærmere efterprøvelse, bliver tilbagevist eller korrigeret med tiden. Det er en langsommelig proces med mange trin. Derfor går der også lang tid fra, at noget står i forskningslitteraturen, til det bliver omsat til teknologi eller et medicinsk præparat,« siger Kristian Hvidtfelt Nielsen.

Derudover er psykologi også et særligt komplekst emne, hvor man ikke kender de kausale mekanismer på samme måde som i naturvidenskab, siger Claus Emmeche.

»De forhold, man studerer i psykologien, er ret komplekse, og man finder måske sammenhænge, hvor man ikke kender de kausale årsager bag. Man ved ikke præcist, hvordan de stimuli, man bruger, påvirker de kognitive processer. Derfor er psykologiens studier også særligt svære at reproducere,« siger Claus Emmeche.

Der mangler standarder for reproduktion

Der findes ingen almene standarder indenfor de forskellige videnskabelige discipliner for, hvor mange gange et resultat skal efterprøves, før man kan vide sig sikker.

Man kan måske synes, at det er ærgerligt, men videnskabelige undersøgelser er så forskellige, at det vil være vanskeligt at udvikle faste regler for reproducerbarhed, der gælder alle områder, mener Claus Emmeche.

»Det er også et problem, at det at reproducere et forsøg ikke giver lige så høj videnskabelig anerkendelse, som det at publicere såkaldt ny viden, selvom den nye viden måske hviler på et spinkelt grundlag,« siger Claus Emmeche og fortsætter:

Det virker måske voldsomt, at ikke flere resultater kan gengives, men undersøgelsen her skal faktisk ses som et sundhedstegn.

Lektor Claus Emmeche

»I den videnskabelige metode er der en indbygget spænding mellem hensynet til originalitet og hensynet til gentagelighed. Begge dele er vigtige normer for forskning, men begrænsede ressourcer gør, at begge dele ikke altid kan imødekommes lige godt.«

En enkel stor og uafhængig reproduktion af et studie kan være nok, foreslår den hollandske førsteforfatter til den nye undersøgelse, Fred Hasselman.

»Det er svært at sige, hvor mange gange et resultat skal kunne reproduceres, før vi kan stole på det, men jeg vil mene, at det kunne afklares med enten flere små undersøgelser eller en stor undersøgelse. Men jeg synes, at forskere altid skal forhold sig skeptiske og omfavne muligheden for, at deres påstande altid kan blive tilbagevist,« siger Fred Hasselman

Forsker: Journalister burde tage ved lære

Det er samtidig en proces, journalister burde være opmærksom på, når de formidler forskning, mener Ole Olsen.

»Journalister burde lære at skelne mellem de første sensationsprægede forskningsudgivelser og de mere efterprøvende og opsamlende udgivelser, der reproducerer eller samler tidligere undersøgelser med for eksempel flere forsøgspersoner. På den måde bliver de sensationsprægede forskningsartiklers til tider fejlagtige konklusioner ikke bredt så effektivt ud til befolkningen,« siger Ole Olsen.