Efter afsløring i Nature: Kan vi stole på videnskaben?

En tredjedel af samfundsvidenskabelige studier publiceret i verdens største tidsskrifter, Nature og Science, kan ikke genskabes.

Det er ellers en af videnskabens grundpiller, at eksperimenter skal kunne gentages og give samme resultat for at være troværdige.

Ud af de 21 studier, der blev undersøgt, kunne 8 ikke reproduceres, og de 13, der kunne, havde kun halvt så stor effekt som i de oprindelige studier.

Kan vi så overhovedet stole på videnskaben?

Ja, det kan vi godt, ifølge Dorthe Berntsen, der er leder af Danmarks Grundforskningsfonds Center for Selvbiografisk Hukommelsesforskning og professor på Psykologisk Institut på Aarhus Universitet.

»For det første skal man huske på, at replikationsstudierne kun efterprøvede en enkelt udvalgt effekt af typisk flere rapporterede effekter i hver af de pågældende studier. For det andet kan der være forskellige årsager til, at replikationen er mislykkedes, herunder forskelle i de undersøgelsespopulationer, der inddrages.«

\ Læs mere

Resultaterne af hvert tredje samfundsvidenskabelige forsøg kan ikke genskabes

Socialvidenskaberne og replikationskrisen

Det nye studie er blot endnu et led af en række studier, som de seneste år har skabt røre indenfor de sociale videnskaber.

Det hele startede for alvor i 2015, da der udkom et opsigtsvækkende studie, som satte fokus på problemer med at genskabe resultaterne i psykologiske eksperimenter.

Her havde forskerne forsøgt at genskabe 100 eksperimentelle studier. Det viste sig, at mens 97 procent af de originale studier havde signifikante resultater, var samme tal faldet til blot 36 procent i replikationsstudierne.

Signifikante resultater vil sige, at de gør sig gældende i så høj grad, at tilfældig variation kan udelukkes.

Studiet i 2015 satte gang i en diskussion, som er blevet døbt 'replikationskrisen'.

»Det gik op for forskningsverdenen, at der var et stort problem her. Ikke kun indenfor psykologi, men alle de sociale videnskaber. Vi har svage måleinstrumenter, og det er svært at skille støj fra effekt i de ting, vi undersøger. Vi kan ikke forudsige ting på samme måde som naturvidenskaberne,« siger Jesper Wiborg Schneider, der er professor på Institut for Statskundskab – Dansk Center for Forskningsanalyse på Aarhus Universitet.

\ Læs mere

Grundforskningskrise: Resultater kan ikke genskabes

Professor: Usund kultur får forskere til at overdrive resultater

Dorthe Berntsen, der er professor og leder af Danmarks Grundforskningsfonds Center for Selvbiografisk Hukommelsesforskning Psykologisk Institut på Aarhus Universitet, er ikke enig i, at der er en krise, da der kan være mange årsager til, at de omtalte studier ikke kunne gentages.

Men hun er enig i, at der er visse problemer, som skal løses.

»Jeg er helt enig i, at der kan være en overvurderet effekt i nogle studier, som blandt andet skyldes en kultur, hvor der er et signifikanspres og et publikationspres, og det er desuden ikke et problem, der er begrænset til de sociale videnskaber. I alle fag handler det om at publicere meget og gerne med stor nyhedsværdi og betydning,« siger hun.

Mange videnskabelige tidsskrifter er ifølge Dorthe Berntsen meget fokuserede på at udgive studier, der finder overraskende effekter, som kan give medieomtale, hvorimod studier, der viser en negativ effekt eller gentager tidligere fund, nedprioriteres.

For eksempel vil et studie, der konkluderer, at en behandling virker, ifølge Dorthe Berntsen blive foretrukket frem for et studie, der viser, at en behandling ikke virker.

Jesper Wiborg Schneider er enig i denne kritik.

»Det gør i sidste ende, at der kommer en overvægt af studier med overvurderede effekter. Det giver en generel skævvridning, som man er nødt til at justere for, når man laver et overblik i en litteraturgennemgang,« siger han.

Ikke kun et problem for socialvidenskaberne?

Jesper Wiborg Schneider fortæller, at der i øjeblikket mest er fokus på problemet indenfor psykologi, økonomi og sociologi, som også er de tre fag, der beskrives i det nyeste replikationsstudie i Nature.

»Indtil nu har man inden for socialvidenskaberne i mange år lavet eksperimenter og ud fra de signifikante resultater, har man så konkluderet, at sådan forholder det sig ude i verden. Men eksperimenter har ikke særlig stor statistisk styrke, og nu har man fået øjnene op for, at noget skal gøres.«

Dorthe Berntsen mener ikke, at problemet er begrænset til socialvidenskaberne, og hun vurderer blandt andet, at psykologi er blevet udset, fordi det er relativt nemt at udføre replikationsstudier på området.

»Det er ikke så dyrt eller kompliceret at rekruttere en gruppe studerende til at deltage i eksperimenter, sammenlignet med for eksempel aber, spædbørn eller alvorligt syge mennesker. En del psykologiske eksperimenter kræver heller ikke særligt dyrt eller avanceret udstyr, så man har valgt at gå efter de lavthængende frugter,« siger hun.

Videnskabsteoretiker: Umuligt at gentage et forsøg perfekt

Mikkel Willum Johansen, der er videnskabsteoretiker og lektor ved Institut for Naturfagenes Didaktik på Københavns Universitet, påpeger desuden, at man aldrig vil kunne replikere et studie fuldstændigt.

»Der vil altid være små forskelle, og det er ikke altid, at man er i stand til at vide, hvordan de kan have indflydelse på resultatet,« siger han.

Specielt, når det har med mennesker at gøre, mener han, at det er svært at gentage et forsøg, og derfor skal man være varsom med altid at sige, at fejlen absolut ligger i det oprindelige studie.

»Man kunne godt forestille sig, at mennesker er et særligt vanskeligt genstandsfelt. Vi er forskellige og reagerer på forskellige ting. Derfor er det også meget let at komme til at lave fejl, hvor reproduktionen ikke bliver den samme,« siger han.

\ Læs mere

Under halvdelen af psykologiens resultater kan reproduceres

Pasteur, Pouchet og bakterierne

Mikkel Willum Johansen kommer især i tanke om én berømt historisk episode, som viser, at selv små og tilsyneladende ubetydelige ændringer kan få store konsekvenser for udfaldet i et forsøg.

Da den franske biolog og kemiker Louis Pasteur i 1800-tallet argumenterede for, at liv ikke kunne opstå spontant, opstillede han et forsøg, der kunne bevise hans påstand.

Han hældte en næringsvæske i en flaske, kogte væsken og satte låg på. Hvis liv kunne opstå spontant, uden tilkomst af levende bakterier andre steder fra, ville der kunne opstå liv i væsken, selvom der var låg på. Det gjorde der ikke, og forsøget bekræftede Pasteurs påstand.

Men hans videnskabelige modstander Félix Pouchet fik et andet resultat, når han lavede forsøget. Han kogte ligeledes en næringsholdig væske og satte låg på, men her opstod der levende bakterier i væsken.

Øjensynligt var der ingen forskel på forsøgene. Det viste sig dog, at Pasteur og Pouchet brugte forskellige væsker til forsøget.

En lille forskel, som man på forsøgets tidspunkt ikke vidste, kunne være udslagsgivende.

I dag ved vi, at der findes termoresistente bakterier – bakterier, der kan overleve meget varme og kolde temperaturer. I Pouchets væske var der altså bakterier, der overlevede.

På samme måde kan der i dag være små forskelle mellem det oprindelige studie og forsøget på at reproducere det, som kan påvirke resultatet, mener Mikkel Willum Johansen.

\ Læs mere

Bakterier trækker vejret gennem strømkabler

Eksperimenter kan finde lokale effekter

Mikkel Willum Johansen fortæller desuden, at der er mange eksempler på eksperimenter, som vil finde en lokal effekt, der ikke vil gælde i den generelle population.

»Jeg bruger tit et eksempel med et studie om kønsstereotyper inden for matematik over for mine studerende.«

Studiet bygger på fordomme om, at asiater er bedre end gennemsnittet til matematik, mens kvinder er dårligere end gennemsnittet.

Her har man taget en gruppe kvindelige asiater på et universitet og delt dem op i tre grupper.

En gruppe, der blev mindet om, at de var asiater, en gruppe, der blev mindet om, at de var kvinder, og en gruppe, der fik irrelevante spørgsmål.

Resultatet var, at gruppen, der blev mindet om, at de var asiater, klarede sig bedre end gennemsnittet, og gruppen, der blev mindet om, at de var kvinder, klarede sig dårligere end gennemsnittet.

»To forskergrupper forsøgte i 2014 at reproducere forsøget. Den ene gruppe kunne til dels reproducere effekten, mens den anden slet ikke kunne. Hvorfor ved man ikke. Måske er der ikke nogen effekt, og måske optræder den kun, hvis bestemte forhold er til stede. For eksempel en bestemt sammensætning af studerende,« siger han.

»Den manglende reproduktion kan blive et startskud til at undersøge tingene nærmere, og hele affæren viser også, at man ikke skal være for skråsikker med at konkludere ud fra et enkelt studie.«

Professor: Snævre forsøg skal ikke generaliseres

Jesper Wiborg Schneider er enig i, at studier, der ikke kan replikeres, stadig kan have en værdi, men han mener, man skal være meget varsom med at generalisere dem.

»Hvis et eksperiment viser sig at være meget følsomt overfor ændringer, så skal man nok også passe på med at konkludere, at de gælder ude i virkeligheden. Man kan ikke både blæse og have mel i munden,« siger han.

Han medgiver dog, at et studie sagtens kan have værdi i en forskningsmæssig forstand, selvom det ikke kan generaliseres.

»Det er jo en del af den videnskabelige proces, også når man finder noget, der ikke holder. Det handler om hele tiden at revidere,« siger han.

I de 21 studier, som blev undersøgt i Nature for nyligt, havde forskerne i gennemsnit brugt fem gange så mange forsøgspersoner i replikationerne, som i de oprindelige studier, for at få en mere nøjagtig måling af effekten.

»Det er helt normalt, at effektstørrelserne bliver mindre, når studierne bliver stærkere. Det skyldes nok, at folk har en tendens til at skrue lidt op for charmen i egne studier,« siger Jesper Wiborg Schneider.

Han byder desuden udviklingen velkommen.

»Det er rigtig godt, at der kommer opmærksomhed på at gentage forsøg. Det er jo klassisk videnskabsteori at efterprøve forsøg. Alligevel er det først indenfor de seneste år, at det har kunnet lade sig gøre, at få den slags publiceret,« siger han.

Bør forskerne erklære på forhånd, hvad de leder efter?

Jesper Wiborg Schneider ser en positiv udvikling i, at man er begyndt at få øjnene op for nogle af de fejl, der kan være i publicerede studier.

Han vurderer også, at tiltag som replikationsstudier og præregistrering kan komme nogle tvivlsomme studier til livs.

»Når forskerne i forvejen skal erklære, hvad de leder efter, så kan de ikke undervejs ændre kurs, hvis eksperimentet ikke falder ud, som de havde forventet. Sådan har man for eksempel gjort indenfor medicin i mange år,« siger han.

Dorthe Berntsen mener til gengæld, at denne metode også kan ødelægge muligheden for nye opdagelser.

»Nogle typer studier passer godt til præregistrering, og der vil åbenheden være gavnlig, men det har også ulemper i forhold til mere eksplorative tilgange,« siger hun og uddyber:

»Nogle vigtige fund bliver opdaget ved tilfældigheder, hvor man ikke på forhånd har vidst, hvad man kunne forvente.«

For eksempel er det ifølge Dorthe Berntsen et robust og anerkendt fund inden for psykologien, at mennesker, der er over 40 år gamle, husker flere perioder fra ungdomslivet end fra andre perioder.

»Det fandt man ud af ved en tilfældighed. Der var et sjovt bump på kurven, som man ikke havde nogen hypotese om at finde på forhånd,« siger hun.

Professor: Forskere bør være mere selv-kritiske

Dorthe Berntsen mener, at en del af skylden ligger hos den nuværende videnskabskultur, der dyrker høj produktivitet og opsigtsvækkende resultater frem for grundig videnskabelig praksis.

»Vi skal have en anden incitamentstruktur, hvor det ikke handler om at publicere en hel masse artikler eller lande en masse bevillinger, men i stedet skal vi højne kvaliteten på det, vi laver,« siger hun.

Ifølge Dorthe Berntsen skyldes strukturen blandt andet, at mange yngre forskere har svært ved at få fast ansættelse, samt et voksende behov for at skaffe eksterne midler til basisforskning.

Men forskerne kan også selv hjælpe med at vende udviklingen ved at være mere grundige, mener hun.

»Den enkelte forsker kan også selv bidrage ved at være mere kritisk overfor egne resultater og sørge for at tage alle forbeholdene med i diskussionen. Så får man dæmpet forventningerne, og jeg tror ikke, det vil betyde, at tidsskrifterne ikke vil publicere dem,« siger hun.

\ Læs mere

Europas bedste grundforskning kommer fra Danmark