Forskningsresultater skal tjekkes grundigt

Et nyt initiativ skal gøre det muligt for forskere at få set deres forskning efter i sømmene. Det sker nemlig jævnligt, at forskningsresultater ikke holder, når forskningen skal bruges i praksis.

For eksempel viste et studie for nylig, at hele 47 af 53 vigtige resultater fra kræftforskningen, som lægemiddelselskaber derefter har investeret store summer i at videreudvikle til mediciner, ikke lod sig reproducere.

Når forskningsresultater ikke holder vand, kan det skyldes snyd, men lige så ofte kan der være tale om for stort fokus på positive resultater - eller tilfældigheder.

Fjer i hatten til forskerne

Nyskabelsen The Reproducibility Initiative, eller ’reproducerbarheds-initiativet’ på halvgodt dansk, har sat sig som mål at bidrage til at rette op på situationen.

Initiativet giver forskerne mulighed for at sende deres forskningsprotokoller ind og få eksperimentet gentaget af uafhængige forskere. Består resultatet testen, får forskningen en ekstra fjer i hatten.

Hvis den ikke lader sig reproducere, slipper forskeren i hvert fald for at bygge sin karriere på svigtende grundlag, og skatteyderne undgår at finansiere forskning, som aldrig vil føre til noget.

Svært at få offentliggjort opfølgende studier

Initiativet er et samarbejde mellem selskabet Science Exchange, publiceringskanalen Public Library of Science (PLoS) og datadelingstjeneste figshare.

Science Exchange arbejder allerede med at formidle kontakt mellem forskere, som har brug for speciel teknisk ekspertise, og laboratorierne, som sidder på denne viden. Det gælder oftest helt nye studier, men nu vil de også tage imod henvendelser fra forskere, som ønsker at få testet deres resultater.

figshare stiller med databasen, hvor forskerne kan dele råmaterialet, mens det åbne publiceringssystem PLoS vil publicere resultaterne fra disse test, uanset om de er positive eller negative.

Noget af problemet er nemlig, at det er svært for forskere, som tester deres egne resultater, at få opfølgningsstudierne accepteret af videnskabelige tidsskrifter – også selv om de tidligere publicerede studier er forkerte.

Nature, Science og de fleste andre tidsskrifter ønsker de mest banebrydende og opsigtsvækkende resultater, og så er det vanskeligt at komme igennem med et studie, som ’bare’ er en ny analyse af noget materiale, der allerede har været publiceret.

Nature vil gerne linke

»Jeg mener, at det vil være en enorm gevinst for forskningen, hvis vi kan få mere åbne metoder på plads og sætte mål for at validere vigtige forskningsresultater,« siger Elizabeth Iorns, initiativtageren bag projektet, til forskning.no.

Elizabeth Iorns er direktør for Science Exchange og lektor ved University of Miami School of Medicine i USA.

Nature, et af verdens mest prestigefyldte tidsskrifter, har annonceret, at hvis studier publiceret i deres tidsskrifter bliver tjekket igennem initiativer, vil de linke til resultatet på deres sider.

»PLoS, Nature og andre tidsskrifter er meget interesserede i at opretholde og forbedre kvaliteten af forskningslitteraturen,« siger Elizabeth Iorns.

Det bekræfter Elizabeth Silva, en af redaktørerne for PLoS One.

»Sådanne studier har traditionelt set været svære at publiceret, fordi de ikke er interessante eller nyskabende nok. PLoS One er et af de få tidsskrifter, som aktivt opfordrer forskere til at indsende studier, som reproducerer resultater, så vi følte, at vores mål er de samme som målene for dette projekt,« siger hun.

Biomedicinsk fokus

Forskerne, der er tilknyttet The Reproducibility Initiative, har hovedsagelig biologisk eller medicinsk baggrund. De testede studier vil sandsynligvis komme fra den kant i første omgang.

Nogle eksperimenter vil dog aldrig kunne testes med denne model, fordi de teknisk eller fagligt set er så avancerede, at ekspertisen for at gennemføre dem kun er hos forskerne selv.

Slate magazine nævner for eksempel arbejdet fra en gruppe forskere ved University of Washington, som for nyligt sekvenserede et 18 uger gammelt fosters genom, kun baseret på blod fra mor og spyt fra far.

Forskerne har ikke råd

»Den store udfordring for os er finansieringen,« siger Elizabeth Iorns.

I dag er det forskerne selv, der skal betale for at få studiet tjekket. Elizabeth Iorns og hendes kolleger har beregnet, at prisen vil være cirka 10 procent af, hvad det oprindelige studie kostede.

Øystein Fodstad er leder for Institutt for kreftforskning ved Oslo Universitetssykehus Radiumhospitalet. Han er som udgangspunkt positiv over for ideen, men kan ikke se, at forskerne under hans ledelse vil tage initiativet i brug som det første.

Problemet ligger netop i, at forskerne selv skal betale for tjenesten.

»Selv om det kun koster nogle procent af den originale pris, er det fortsat en stor udgift. Som budgetsituationen er nu, strækker pengene bare ikke,« siger han til forskning.no.

»Desuden vil det sandsynligvis forsinke indsendelse af vores publikationer. Publikationerne er jo det, vi kan bruge til at søge nye midler og på den måde holde maskineriet gående, så det vil i så fald være et problem.«

Hjælp til Nobelprisvindere

Elizabeth Iorns og kolleger håber at kunne få finansieringsinstitutioner med på holdet på et tidspunkt og få dem til at tage hele regningen eller en del af den.

»Vi tror, at stiftelser og institutioner, som finansierer forskning, har al mulig grund til at ville sikre, at den forskning, de støtter, er reproducerbar, før de investerer i videreudvikling af resultaterne,« siger Elizabeth Iorns.

Øystein Fodstad er dog skeptisk over for, om initiativet som udgangspunkt vil hjælpe de forskere, som egentlig ikke har brug for et ekstra puf i ryggen.

»De, der benytter sig af et sådant tilbud, er de, der allerede har midler til at gøre det, så da melder spørgsmålet sig: Hvem er det? Er det dem, der allerede har et godt omdømme og mange midler, og som vil styrke deres position yderligere? Eller er det unge forskere på vej, som søger opmærksomhed og støtte til deres projekter? Jeg er bange for, at det bliver den første gruppe - ikke den sidste,« siger han.

Belønning til gode forskere

Et andet problem opstår, hvis initiativer som dette bliver en sovepude for forskerne.

Hvis kommercielle selskaber overtager jobbet med at dobbelttjekke forskningen, kan det gøre, at forskerne i endnu højere grad fokuserer på det spektakulære, men måske med nogle tvivlsomme resultater, som de ikke er helt sikre på. Så skal det hellere være nogle andres job at tjekke, om de har lavet alle deres hjemmeopgaver korrekt.

Elizabeth Iorns tror imidlertid, at initiativet vil være en positiv forstærkning for de ærlige forskere, ikke et skalkeskjul for de dovne:

»Vi foreslår på ingen måde, at kommercielle selskaber overtager ansvaret for forskningen. Vores system er et såkaldt opt in-system, altså et system, hvor du aktivt skal vælge at være med. Vi tror, at det vil tiltrække de forskere, som har foretaget et grundigt stykke arbejde til at starte med.«

Elizabeth Iorns forventer, at reproduktionsraten vil være meget højere for forskning, som testes gennem The Reproducibility Initiative, end den forskning, der rapporteres i forskningsverdenen som helhed. Det bygger hun på, at forskerne, som sender deres resultater ind, sandsynligvis allerede er optaget af, at forskningen skal kunne efterprøves.

For forskningsråd, investorer eller kolleger vil et godkendelsesstempel fra The Reproducibility Initiative være en måde at finde frem til de virkelig gode samarbejdspartnere, tror Elizabeth Iorns.

»Processen vil kunne fungere som et filter til at finde frem til studier, som er virkelig gode, og vi tror, at initiativet snarere vil bidrage til at belønne gode forskere end til at straffe de dårlige,« vurderer hun.

© forskning.no Oversættelse: Julie M. Ingemansson