Når forskere skriver videnskabelige artikler, skal de helst beskrive deres metoder meget præcist. Det skyldes blandt andet, at andre forskere skal kunne gentage forsøget.
I forskning er det nemlig ikke nok at lave et forsøg én gang. Et studie skal helst gentages flere gange af flere uafhængige grupper, før man kan sige, at resultatet med høj sandsynlighed holder vand. Denne proces kaldes ‘reproduktion’.
\ Er grundforskningen syg?
Hver dag forsøger grundforskerne at skabe robust og grundlagsskabende viden, som al anden forskning – eksempelvis den anvendte forskning – skal bygge videre på; men flere forskere mener, at grundforskningen er i krise.
Ræset om at udgive videnskabelige publikationer har taget overhånd, og kvaliteten daler, mener de.
Videnskab.dk sætter i en artikelrække fokus på problemstillingens symptomer, konsekvenser og, ikke mindst, løsninger. I denne artikel zoomer vi ind på manglende reproducerbarhed af studier.
Reproduktion skal sikre, at et resultat ikke blot er produkt af tilfældigheder eller af dårlig forskning. Den skal også sikre, at forskerne ikke spilder tid og penge på at gå videre med forskning, som ikke er holdbar, og samtidig sikre os andre imod, at forkerte konklusioner strømmer ud i samfundet.
Problemet er bare, at alt for meget forskning i dag slet ikke kan reproduceres. Og det er et meget alvorligt sygdomstegn, lyder det fra flere forskere.
Engangsresultaterne er udbredte
I en spørgeskemaundersøgelse tidligere i 2016 spurgte det anerkendte tidsskrift Nature forskerne: ‘Er der i dag en reproducerbarhedskrise i forskningen?’
Over halvdelen – 52 procent – af 1.576 adspurgte svarede ja.
Over 70 procent af de adspurgte havde selv prøvet at gentage en kollegas eksperimenter uden held, og over halvdelen havde forsøgt, og fejlet, med at reproducere deres egne eksperimenter.
Det er da også let at finde eksempler på studier, der ikke kunne reproduceres. Sidst i 2015 viste en gruppe forskere eksempelvis, at kun 36 ud af 100 undersøgelser fra 3 respekterede psykologi-tidsskrifter kunne reproduceres og bekræfte et signifikant resultat. Kun 47 procent af de reproducerbare undersøgelser havde en effekt på niveau med den oprindelige.
I et tilsvarende studie fra i 2012 viste en gruppe forskere, at det kun kunne lade sig gøre at reproducere og genfinde resultaterne fra 6 ud af 53 ’skelsættende’ videnskabelige studier inden for kræftforskningen. Det kan du læse mere om i artiklen ‘Dårlige antistoffer skaber forskning til skraldespanden‘.
I videoen her fremlægger Nature resultaterne fra spørgeskemaundersøgelsen:
Fejl i forskningen bliver forstærket
Den manglende reproducerbarhed er særligt problematisk, fordi forskningen i dag er bygget sådan op, at forskere belønnes for at citere hinandens forskning, forklarer lektor David Budtz Pedersen, som arbejder på Institut for Kommunikation, Aalborg Universitet.
»Vi er i dag afhængige af hinandens forskning, fordi vi citerer og bygger videre på hinandens arbejde, og dermed er en enkelt mands eller kvindes fejl ikke længere et isoleret fænomen, men noget der i høj grad kan sende kaskader ud til resten af forskningen,« siger han.
Naturvidenskaben har slået sig op på, at et fund altid skal kunne reproduceres af en anden forskergruppe. Først da er det et fund.
Torben Ellegaard Lund, Aarhus Universitet
En af landets førende grundforskere i psykologi, professor Dorthe Berntsen, fortæller, at idealerne har ændret sig meget over tid.
»Da jeg startede, var idealet, at man lavede tre-fire eksperimenter, der viste den samme effekt på forskellige måder. Man replicerede sig selv, og så samlede man de der tre-fire studier og sendte dem ind til et tidsskrift,« siger Dorthe Berntsen, som leder grundforskningscentret CON AMORE, Aarhus Universitet.
»Senere skete der en bevægelse til, at det var nok med et studie eller måske to – men så skulle det være et nyt, overraskende fund, som virkelig skulle være underholdende og kunne fascinere den bredere offentlighed. Det er sådan et fokus, man har i dag i Science and Nature for eksempel,« fortsætter hun, men påpeger dog også, at der er kræfter, der trækker i den modsatte retning – det kan du læse mere om i boksen og i en senere artikel.
\ Fokus på at reproducere
Ifølge Dorthe Berntsen er der pt. ved at ske en bevægelse tilbage til et fokus på replikation.
»Derfor skal vi også passe på med ikke at overdrive problemet. For eksempel har Association for Psychological Science igangsat en række tiltag med henblik på at sikre kvaliteten, herunder et initiativ med Registered Replication Reports.«
Hun understreger i øvrigt, at problemer med reproduktion ikke er særligt forbeholdt grundforskning, men er et problem for al forskning.
Sensationelle resultater skaber opmærksomhed
Hvorfor reproduktionen daler, findes der ikke et klokkeklart svar på. I artiklen ‘Forskere advarer: Grundforskningsboble er på bristepunktet’ redegør en række forskere blandt andet for, hvordan et meget voldsomt publikationspres kan presse forskerne ud i at overdrive deres resultater eller gå på ‘statistisk fisketur’, hvor de i højere eller mindre grad manipulerer med resultaterne for at få et stærkt resultat.
En anden del af forklaringen kan ligge i, at undersøgelser med opsigtsvækkende resultater hurtigere bliver publiceret i videnskabelige tidsskrifter end andre forskningsartikler, lyder det fra statistiker Ole Olsen, som også kommenterede på det opsigtsvækkende psykologi-fund i 2015.
Sensationelle resultater skaber mere opmærksomhed – men betyder også, at effekterne ofte ikke kan bekræftes, argumenterer seniorforsker Ole Olsen, som arbejder på Forskningsenhed for Almen Medicin ved Københavns Universitet, i artiklen ‘Under halvdelen af psykologiens resultater kan reproduceres’.
Dorthe Berntsen er enig:
»Når man har et belønningssystem, som går på at få publiceret i de store tidsskrifter, kan der ligge en fristelse i at booste lidt til nyhedsværdien – eller noget man har fundet ved et tilfælde, og som man så skynder sig at få publiceret, inden andre måske også finder det. Og så får man til gengæld ikke undersøgt tilstrækkeligt, om det nu også var et robust resultat. Men der findes nu i det videnskabelige miljø en voksende opmærksomhed på disse belønningssystemer og organiserede tiltag til at rette op.«
Manglende reproduktion ikke altid problem
Man skal omvendt også huske, at det ikke altid forholder sig sådan, at et studie er dårligt, bare fordi det ikke kan gentages. Det mener Mikkel W. Johansen, der er lektor i videnskabsteori ved Institut for Naturfagenes Didaktik på Københavns Universitet.
\ QRP dækker bl.a. over
- Strategisk citering, hvor forskeren citerer det tidsskrift, han søger at publicere i.
- Selektiv brug af data og/eller analyser, hvor forskeren for eksempel udfører en række statistiske analyser, men kun bruger dem, der passer til den oprindelige hypotese.
- Afholder sig fra at citere forskningsresultater, der strider mod ens konklusion.
Han er enig i, at man i høj grad bør stræbe efter at få gentaget så mange studier som muligt – det er bare ikke altid dårlig videnskabelig metode eller tvivlsom forskningspraksis (QRP), der ligger til grund, når et resultat ikke kan genfindes, påpeger han.
»Man skal passe meget på, når man snakker om reproducerbarhed i empiriske videnskaber, for hvad vil det egentlig sige at reproducere et forsøg? Tanken om reproduktion bygger til dels på den fejlagtige præmis, at et videnskabeligt eksperiment er en veldefineret og standardiseret maskine, der altid vil spytte de samme data ud, hvis man putter de samme input ind,« siger han.
\ Læs mere
Ægte grundforskning er svær at gentage
Særligt når det kommer til grundforskning, skal man være varsom med at male fanden på væggen, når forsøg ikke kan reproduceres, mener Mikkel W. Johansen.
»Der ér klart nogle tilfælde, hvor det er fair nok at kræve gentagelse, fordi vi forstår konteksten rigtig godt, og forsøget kan beskrives meget præcist; for eksempel inden for den medicinske forskning. Men særligt når du bedriver grundforskning, står du nogle steder, hvor du ikke ved, hvilke vilkår der påvirker, og hvilke der ikke gør – så når du reproducerer, kan du uforvarende komme til at ændre afgørende detaljer,« siger han og fortsætter:
»Mangel på reproducerbarhed kan også bare være et tegn på, at der er dele af eksperimentet, vi ikke forstår godt nok endnu, og at det derfor er svært at reproducere det i alle relevante dele; fordi vi endnu ikke ved, hvilke dele der er relevante, og derfor kommer til at ændre på parametre, vi troede var uden betydning.«
Interessant, når vi prøver og fejler
Mikkel W. Johansen mener dog alligevel i allerhøjeste grad, at det er relevant at have fokus på reproduktion og på at gøre meget ud af at gentage tidligere forskning, understreger han.
»Det er af mange grunde en fantastisk god ide at prøve at lave reproduktioner; blandt andet fordi jeg hører til dem, der er bekymrede for forskningsproduktionen. Der er så stort fokus på at lave mange artikler hurtigt, og noget tyder på, at folk masserer deres værdier til at komme ned under det, de skal være,« siger han og fortsætter:
\ Hvad skal vi med grundforskning?
Videnskab.dk sætter fokus på grundforskning.
Vi tager dig med helt ind i maskinrummet af grundforskningen og finder ud af:
- hvad skattekronerne går til,
- hvilke projekter der bliver lavet,
- hvem der står bag og
- hvad vi historisk set har fået ud af grundforskning.
»At vi i højere grad forsøger at reproducere kan være med til at styrke kvaliteten. Der sker noget interessant, når vi prøver og fejler, for det tyder på, at der er noget, vi endnu ikke forstår. En detalje, som kan blive en øjenåbner. Så kan vi grave frem, hvad det var, der gik galt, og den vej igennem blive klogere på verden.«
Alt for lidt ‘kedelig forskning’
Og her opstår så næste problem: Ingen har en reel interesse i at gå hinandens forskning efter i sømmene, idet reproduktioner ikke belønnes, som forskningssystemet er skruet sammen i dag. Tidsskrifterne vil have flotte, prangende forsider, ikke gentagelser af tidligere konklusioner, og forskerne har derfor svært ved at få udgivet reproduktionsstudier.
De vil heller ikke have nulresultater, det vil sige forskning, der ikke fandt det, den ledte efter – og her leder næste artikel i rækken om grundforskningens krise os hen. De såkaldte nulresultater er faktisk uhyre vigtige for at give forskningen tyngde og substans og for at få aflivet forkerte hypoteser og fejlantagelser, lyder det fra forskerne.
Læs med, når vi i næste artikel dykker ned i det store fald i publiceringen af ‘den kedelige forskning’.
\ Gode grunde til manglende reproducerbarhed
Mikkel W. Johansen påpeger, at der gennem historien er mange eksempler på, at et forsøg ikke kunne reproduceres, fordi man endnu ikke forstod alle elementerne i det.
Han bringer følgende eksempler på banen:
- Fysiker og kemiker Louis Pasteur påviste i begyndelsen af 1860’erne, at liv ikke kan opstå spontant. Pasteurs forskning har haft enorm betydning og er blandt andet baggrunden for, at man i dag pasteuriserer mælk. Da en anden forsker, Felix Pouchet, gentog visse dele af Pasteurs forsøg, kunne han imidlertid ikke reproducere resultatet: Når Pouchet lavede forsøgene, så det ud, som om liv opstod spontant. Først langt senere fandt man ud af, at den manglende reproducerbarhed skyldtes, at Pouchet havde ændret en lille detalje i forsøget. Han brugte en anden næringsvæske end Pasteur, og i netop den næringsvæske findes naturligt en særlig hårdfør type bakterier, der kan overleve den steriliseringsproces, der blev brugt i forsøget. Så når Pouchet troede, at han så liv, der var opstået spontant, var det virkeligheden blot bakterier, der ikke var blevet dræbt, da næringsvæsken blev steriliseret.
- Et andet eksempel stammer fra den igangværende reproducerbarhedskrise. I 1996 viste en gruppe forskere, at man kunne få folk til at gå langsommere, hvis man fik dem til at læse en tekst, der indeholdt en række ‘trigger-ord’, der skulle lede tankerne hen på alderdom. Det kunne altså, ganske overraskende, lade sig gøre at ændre deres adfærd. Da en anden gruppe forskere i 2012 gentog eksperimentet, kunne de dog ikke finde den samme effekt. I det nye forsøg var tekststykket med trigger-ordene imidlertid blevet oversat fra engelsk til fransk, og meget tyder nu på, at den manglende reproducerbarhed ikke skyldtes, at det oprindelige resultat var forkert, men snarere, at noget var gået galt i oversættelsen. Engelsk og fransk er to ret forskellige sprog, og derfor fungerer trigger-ordene simpelthen anderledes på engelsk end på fransk, hvilket man ikke havde været tilstrækkeligt opmærksom på. »Historierne viser, at detaljerne betyder noget i eksperimenter. Og så længe man ikke har styr på detaljerne, skal man ikke forvente at kunne reproducere resultaterne,« siger Mikkel W. Johansen.
