Verdens største tidsskrifter til kamp mod falsk forskning
Tidsskrifterne er blevet beskyldt for at være en af årsagerne til, at mange udgivne forskningsresultater viser sig at være falske. Der er derfor store ændringer fra tidsskrifterne undervejs, men dansk forsker kalder det et pr-stunt.
tidsskrifter nature science forskningskrise pr-stunt kritik falsk forskning

Nature og Science er blandt de tidsskrifter, der nu kigger sig selv efter i sømmene efter kritik om at bidrage til global forskningskrise. (Illustration: Charlotte Price Persson/Mette Friis-Mikkelsen, Videnskab.dk)

Nu skal det være slut med forskningsresultater, der bringes med pomp og pragt i de store videnskabelige tidsskrifter, men som ikke kan genskabes af andre forskere.

Historien kort
  • Tidsskrifter vil ændre arbejdsgang for at undgå udgivelse af falske forskningsresultater.
  • TOP-retningslinjerne skal blandt andet sikre en grundigere gennemgang af statistik. I marts 2017 har 750 tidsskrifter underskrevet dem.
  • Dansk forsker kalder det et pr-stunt og mener, at tidsskrifterne i stedet skulle være mere villige til at udgive såkaldte 'nulresultater'.

Det er beskeden fra ledelsen hos førende videnskabelige tidsskrifter som Nature og Science, der, sammen med en lang række mindre udgivelser, har sat sig for at bekæmpe den såkaldte ‘reproducerbarhedskrise’.

Problemet er, at mange af de videnskabelige resultater, som forskerne får udgivet i de videnskabelige journaler, efterfølgende viser sig ikke at kunne genfindes, altså reproduceres, og derfor muligvis ikke er korrekte.

Flere danske forskere har i den forbindelse rettet kritik mod tidsskrifterne, idet deres tendens til at fokusere på den gode historie i stedet for den gode forskning ifølge forskerne kan være en årsag til problemet.

forskning tidsskrifter pres kritik videnskab positive fund hurtig udgivelse

Flere danske forskere har tidligere kritiseret tidsskrifterne for at forværre tilstanden i forskningen, idet deres fokus på positive fund og hurtig udgivelse lægger stort pres på systemet. (Illustration: Mette Friis-Mikkelsen)

Tiltag fra tidsskrifterne skal give åbenhed

Tidsskrifter med i udvikling af TOP

TOP-retningslinjerne er udviklet i et samarbejde mellem mange spillere, blandt andre: 

  • Non-profit organisation Center for Open Science (COS).
  • Flere tidsskrifter, herunder Science og Nature.
  • Forskere og universiteter. 

TOP blev lanceret i 2015 og ifølge COS har 750 tidsskrifter skrevet under pr. marts 2017.   

Men nu er publikationsgiganter som Nature og Science blevet trætte af at få stækket deres gode rygte med udgivelse af falske fund.

Senest proklamerede Nature, i midten af marts 2017, at nu havde de adopteret en række nye retningslinjer, der skal sikre gennemsigtigheden i forskningen ved blandt andet at forbedre deling af videnskabelige data.

Retningslinjerne kaldes TOP, en forkortelse af Transparency Openness Promotion.

Science kom dog konkurrenten lidt i forkøbet ved at skrive sig op til de nye krav fra januar 2017. Her omtalte de initiativet i meget rosende vendinger:  

»Fordelene ved at implementere TOP rækker langt udover det oprindelige mål med at facilitere reproducerbarheden i den publicerede forskning. TOP skaber en ramme for at dele ikke bare resultater, men også data, prøver, koder og metoder, som i mange tilfælde kan vise sig endnu mere værdifulde end selve resultaterne,« skriver chefredaktør Marcia McNutt.

Opmærksomhed på problem længe

Men TOP-retningslinjerne er kun det seneste skud på stammen hos tidsskrifterne generelt. Siden omkring 2013 har der været en mindre revolution i gang, i måden videnskabelige artikler udgives på.

Det accelererede især efter denne lederatikel i Nature fra 2013, som blev efterfulgt af en lignende lederartikel i Science året efter.

Her kom begge tidsskrifter med supplerende initiativer til bekæmpelse af reproducerbarhedskrisen. Initiativerne indebar blandt andet, at de ville:

  • Afgive mere plads i spalterne til metodeafsnit og beregninger.

  • Gennemgå artiklerne mere systematisk for statistiske fejl med hjælp fra statistikeksperter inden udgivelse og ved at udarbejde tjeklister, reviewerne kan følge i gennemgangen af artiklen.

  • Kræve at forskere vedlægger mere data, som derpå gøres tilgængelig, sammen med artiklen og dermed forbedre muligheden for at reproducere studiet.     

  • Lave tjeklister til forskerne, der sikrer, at artiklerne indeholder de nødvendige faktuelle og statistiske informationer og sørge for, at disse rapporteres korrekt.

I sommeren 2014 skrev en lang række andre ledende tidsskrifter inden for biovidenskab desuden under på at forbedre deres praksis på en række lignende områder.

Derudover berettede de videnskabelige tidsskrifters brancheorganisation International Association of Scientific, Technical and Medical Publishers (STM) i sin årsrapport fra 2015, at samtlige medlemmer var opmærksomme på problemerne, og at flere tidsskrifter desuden forsøgte at publicere flere af de negative studier, hvilket der ellers hidtil har været en vis modvilje mod.

Dansk forsker: »Det ligner et pr-stunt«

De negative resultater

Negative resultater betyder, at forskerne ikke fandt en statistisk sammenhæng i det, de undersøgte - modsat positive resultater, hvor de finder en sammenhæng.

Videnskabelige artikler med negative resultater får sjældent lige så mange citationer, som de positive, og derfor er de mindre indbringende for tidsskrifterne, der blandt andet måles på citationer.

Flere forskere har kritiseret dette voldsomt, idet forskningen bliver skæv, hvis man kun hører om det, der blev bekræftet.

Læs mere om det i artiklen Forskning bliver farlig, når negative resultater glemmes.

Rækken af tiltag og hensigtserklæringer fra tidsskrifterne om at komme reproducerbarhedskrisen til livs høster dog blandede reaktioner fra danske forskere.

Torben Lund, der er lektor på Institut for Klinisk Medicin på Aarhus Universitet, vurderer, at tidsskrifterne blot »prøver at holde ryggen fri med rækken af mindre tiltag«, så de kan feje kritikken videre i systemet.

»Det virker mest af alt som et rent publicity stunt. Man hævder at have gjort en masse, men bortset fra lidt ekstra, grundig statistikgennemgang og nogle spørgeskemaer, kan tidsskrifterne i det store og hele fortsætte business as usual. Jeg er ikke imponeret,« siger han. 

Løsning: Kontrakt mellem tidsskrift og forsker

I stedet mener Torben Lund, at tidsskrifterne bør ændre måden, de vurderer videnskabelige studier på.

I stedet for at vurdere, om resultaterne fra et studie er interessante, bør de se på selve relevansen i den hypotese, studiet forsøger at belyse. Vurderingen skal altså foregå, før data bliver indsamlet.

Denne praksis kaldes ‘pre result peer review’, eller præregistrerede forsøg, og praktiseres blandt andet af tidsskriftet Cortex

kontrakt tidsskrifter pre peer review

En mulig løsning er, at der på forhånd laves en bindende aftale mellem tidsskrifterne og forskerne om, at tidsskrifterne udgiver forskernes resultater, uanset om de bliver positive eller negative. (Foto: Shutterstock.com)

»Pre result peer review kunne være en måde at løse problemerne på. Det er allerede en kendt arbejdsgang i medicinske forsøg, men det giver mening på andre felter, fordi det fjerner incitamentet til udelukkende at skrive og udgive sensationelle artikler,« siger Torben Lund.

Præregistreringen betyder i praksis, at forskerne laver en udførlig beskrivelse af, hvad de har tænkt sig at undersøge, hvorfor og hvordan. Den sender de ind til tidsskrifterne, hvor en række reviewere vurderer, om studiet lyder så spændende, at de vil love at udgive studiet ligegyldigt hvad, hvis de beskrevne metoder følges. 

Det bliver på den måde mindre fristende for forskerne at ændre på hypotesen og resultaterne, fordi tidsskriftet har bundet sig til at udgive dem, uanset om sammenhængen blev bekræftet eller ej.

Man modvirker således samtidig tidsskrifternes overvægt af positive, sensationelle fund og samtidig kan reviewerne komme med gode ideer til metoder og analyse til forsøget, forklarer Torben Lund.  

Science vil ikke insistere på præregistering 

negative resultater forsvinder i skuffe

Alt for mange studier bliver aldrig offentliggjort, fordi resultaterne er negative og derfor ikke kan komme igennem nåleøjet i tidsskrifterne. Et problem, chefredaktøren for Science anerkender, at præregistreringen kan løsne op for. (Foto: shutterstock.com)

Men rent faktisk nævnes præregistreringsmetoden både i TOP-retningslinjerne og i lederartiklen i Science, hvor chefredaktør Marcia McNutt omtaler metoden i høje toner:

»Vi anerkender, at præregistrering af studier og analyseplaner er ved at blive normen på nogle få felter som kliniske trials, og at mange studier derudover ville have stor gavn af denne praksis. Præregistrering af studier kan hjælpe til at undgå ‘skrivebordsskuffe-effekten’, hvor studier med nulresultater ikke bliver formidlet, hvilket leder til skævvridning i den publicerede litteratur mod positive, konkluderende og muligvis uægte fund.«

Men trods alle disse fordele vil Science ikke implementere metoden, skriver hun. I hvert fald ikke før den er blevet mere ‘mainstream’.

»Indtil flere videnskabelige discipliner er klar til at acceptere denne praksis for hypotesetestende forskning, vil Science ikke insistere på, at den bliver brugt,« skriver Marcia McNutt.

Forsker: Tidsskrifter vil ikke risikere noget

En frustrerende udmelding ifølge Torben Lund, som mener, at den manglende vilje til at implementere pre result peer review formentlig beror på en grad af økonomisk baseret berøringsangst.

»Det vil jo betyde, at man skal til at lave en helt anden slags reviewarbejde, end man gør nu, og det vil også betyde, at tidsskrifterne skal udgive langt flere nulresultater, som formentlig ikke vil blive citeret i ret høj grad. Det vil gå dramatisk ud over tidsskrifternes impact factor, som jo er deres møntfod, og derfor er det ikke ret tiltrækkende for tidsskrifterne,« siger Torben Lund.

Derfor mener han, at man bør skrotte måleenheder som impact factor og citationer generelt, og så begynde at måle forskere og tidsskrifter på graden af solid forskning, de henholdsvis producerer og udgiver.

»Hvis man kunne vurdere succes efter en lødighedsfaktor i stedet, ville man komme ud over det problem. Men det er et skift, som er svært at gennemføre for den enkelte forsker uden hjælp fra modige tidsskrifter og fonde,« siger Torben Lund.

incitament forskning gulerod bfi

Det bliver svært at få gennemført ændringer, der virkelig rykker noget, før man også ændrer ved det incitamentsystem, som får både forskere og tidsskrifter til at halse efter citationer og impact factor, mener dansk forsker. (Foto: Shutterstock.com)

»Der skal udgives langt flere nulresultater«

Alt til trods, er der også strejf af positivitet at spore i det danske forskningsmiljø omkring tidsskrifternes tiltag. Seniorforsker ved Forskningsenheden for Almen Praksis på KU, Ole Olsen, mener for eksempel, at tidsskrifterne har gjort et godt stykke arbejde.

»Jeg kan faktisk mærke en positiv forskel. Nu kræver flere tidsskrifter, at forfatterne eksplicit forholder sig til datadeling - det er en god ting. Overordnet er det et udmærket initiativ, tidsskrifterne har taget,« siger han.

Torben Lund medgiver da også, at det trods alt er rart, at der bliver gjort et eller andet. Men han understreger også, at det bliver nødvendigt med yderligere tiltag:

»Hvis vi sidder om fire år, og alting stadig er lige så skidt med reproducerbarheden, til trods for tiltag som TOP, må tidsskrifterne jo erkende, at det ikke var her, problemet virkelig lå. Og så må man for alvor tage fat på præregistreringen og publicere langt flere nulresultater, så der ikke længere er incitament til forskerne for at indsende falske fund, der ikke kan genfindes,« siger han.

Lyt på Videnskab.dk!

Hver uge laver vi digital radio, der udkommer i form af en podcast, hvor vi går i dybden med aktuelle emner fra forskningens verden. Du kan lytte til den nyeste podcast i afspilleren herunder eller via en podcast-app på din smartphone.

Har du en iPhone eller iPad, kan du finde vores podcasts i iTunes og afspille dem i Apples podcast app. Bruger du Android, kan du med fordel bruge SoundClouds app.
Du kan se alle vores podcast-artikler her eller se hele playlisten på SoundCloud