Forskning bliver farlig, når de negative resultater glemmes

Hvis du vil konkludere noget på baggrund af et eksperiment, er det en videnskabelig grundregel, at du skal medregne alle data – både positive og negative.

Det samme gælder den globale, videnskabelige videnssamling som helhed – for at kunne stole på, at videnskaben giver os et retvisende billede af sandheden, er man nødt til at medregne alle videnskabelige resultater. Også når resultaterne viser noget andet, end man regnede med.

Men det bliver ikke gjort.

Sådan lyder det fra flere bekymrede forskere, Videnskab.dk har talt med, som fremhæver, at der derfor kan være en stor del af forskningen, som i dag ikke er korrekt.

Det er et problem, der lægger sig i slipstrømmen på krisen i grundforskningen, som i de seneste uger har været beskrevet på Videnskab.dk, nemlig problemer med publiceringspres og manglende reproduktion af resultater.

Nyt dansk studie viser problemet

»Det er et stort problem, og vi er nødt til at publicere flere negative resultater,« konstaterer Silas Boye Nissen, der er ph.d.-studerende i biofysik på Niels Bohr Instituttet, og som for nylig har udgivet en videnskabelig artikel, der analyserer konsekvensen af den manglende udgivelse af negative resultater i videnskaben.

Sammen med amerikanske kolleger har han lavet en computersimulering, der ved hjælp af en matematisk model kan udregne sandsynligheden for, at en videnskabelig teori, der i virkeligheden er falsk, ender med at blive opfattet som sand af det videnskabelige samfund.

Den sandsynlighed stiger væsentligt i takt med, at der publiceres færre negative resultater, fortæller han.

»Vores model viser, at vi er nødt til at få publiceret mindst 20 procent af de negative resultater, der produceres inden for hvert forskningsfelt, hvis vi skal undgå at lave falske antagelser om videnskabelig fakta,« siger han.

Det tal kan dog være endnu højere i nogle sammenhænge, fortæller Silas Boye Nissen.

»Tallet vil variere, afhængigt af parametre som forskningsområde, herunder hvor mange af de positive resultater der rent faktisk er falske, og derfor kan der i nogle felter være tale om et minimum af publicerede negative resultater på op til 40 procent.«

For få negative resultater leder til falske konklusioner

Alt under den kritiske grænse for udgivne negative resultater kan lede til, at både forskere og borgere, der følger med i videnskaben, før eller siden kan få det indtryk, at noget er sandt, selvom der måske er masser af studier, der viser det modsatte, forklarer Silas Boye Nissen.

Og den grænse overholdes ikke lige nu.

»En amerikansk undersøgelse af studier på ny medicin viser blandt andet, at der kun er omkring 10 procent chance for at få publiceret et negativt resultat, mens næsten alle positive resultater kommer ud,« siger Silas Boye Nissen.

Han henviser desuden til et studie, der viser, at andelen af positive resultater i videnskabelige tidsskrifter i årene 1990 til 2007 steg med 22 procent.

Løsningen er imidlertid ikke at publicere samtlige negative resultater, tilføjer han. Der er blot brug for flere.

»Sandsynligheden for, at en falsk hypotese ender med at blive betragtet som sand, er ifølge vores model nul, ligegyldigt om vi publicerer 70 procent eller 100 procent af de negative resultater – 10 procent er bare helt sikkert for lidt,« siger han.

»Manglende negative resultater har kostet liv«

Favoriseringen af positive resultater kan ifølge Silas Boye Nissen skabe et skævt billede af sandheden, hvor forskere, industri og samfund forledes til at tro, at for eksempel ny medicin virker, selvom den måske slet ikke gør.

»Et godt eksempel på det var, da et nyt antidepressivt middel blev testet i USA med 14 kliniske studier. Syv af dem gav positive resultater, hvoraf alle blev publiceret. Resten af studierne gav negative resultater, altså ingen effekt, men her blev kun to publiceret,« fortæller han og henviser til et metastudie fra 2008, bragt i The New England Journal of Medicine.

Den skæve opmærksomhed på resultaterne kan potentielt få alvorlige følger, som man også kunne læse i debatindlægget ‘Giv plads til negative forskningsresultater’ på Videnskab.dk i juli 2016.

Her skrev ph.d. og forskningsbibliotekar Thea Marie Drachen sammen med overbibliotekar Bertil Dorch, begge fra Syddansk Universitet, følgende:

»Vi spilder tid og penge, når forskere gentager forsøg, fordi der ikke er tilgængelig information om, at andre forskere for eksempel allerede har testet et potentielt lægemiddel og fundet, at stoffet ingen effekt havde, eller værre; at det havde en uønsket effekt. Den slags unødvendige gentagelser af forsøg koster tid, penge, forsøgsdyrs liv og har beviseligt også kostet menneskeliv.«

Forskningsverdenen kalder på negative resultater

Faktisk er problemet noget, der jævnligt er oppe at vende i forskningsverdenen. Særligt i det seneste årti har diskussionen taget fart. Især efter artiklen ‘Why Most Published Research Findings Are False’ blev publiceret i 2005 i det videnskabelige tidsskrift PLoS Medicine.

På den internationale kræftkonference, ESMO, der blev afholdt i København i efteråret 2016, fremhævede flere af deltagerne i en paneldebat om kommunikation af resultater inden for kræftforskning, at de negative resultater er vigtige:

»Inden for kræftforskningen – og sundhedsforskning generelt – bør vi publicere og fremlægge al data, også, og måske især, den negative, så vi kan undgå at bruge tid og penge på behandlingsformer, der allerede er afvist,« sagde Evandro de Azambuja, ph.d. i onkologi fra Belgien og medlem af ESMO Press and Media Affairs Committee.

I en lederartikel fra 2014, bragt i National Center for Biotechnology Information, fremhæver fem australske forskere følgende argument:

»Negative resultater er værdifulde for den videnskabelige litteratur, fordi de tvinger os til kritisk at evaluere og validere vores tankegang, hvilket fundamentalt set bevæger os mod bedre videnskab.«

Derfor mener forfatterne ikke, at offentlighedens opfattelse af videnskaben som et fejlfrit system, der bygger på den bedste viden, længere er retvisende, skriver de i artiklen.

\ Læs mere

Forskningsresultater skal tjekkes grundigt

»Problemet er, at negative resultater ikke belønnes«

Men ligegyldigt hvor enige forskerne er om, at de negative resultater skal publiceres og være tilgængelige for offentligheden, ryger de altså stadig i skrivebordsskuffen.

Og det er der en god forklaring på, fremhæver lektor Torben Lund fra Institut for Klinisk Medicin – Center for Funktionelt Integrativ Neurovidenskab på Aarhus Universitet.

»Problemet er, at de negative resultater ikke belønnes. Den struktur, der lige nu hersker i forskningsverdenen, hvor citationer af dine artikler er den gængse møntfod, gør det rigtig svært at skabe en karriere på negative resultater, og derfor negligeres de,« siger han.

Forsøg på at gå mod strømmen fejler

Som man også kunne læse i Videnskab.dk-artiklen ‘Forskere advarer: Grundforskningsboblen er på bristepunktet’, betyder den evige jagt på citationer i forskningsverdenen, at tidsskrifterne kun er interesserede i at bringe studier, der vil blive citerede.

Og her er det svært for de negative resultater at følge med de positive, fortæller Torben Lund.

»Lige nu vægtes de spektakulære fund højest. I de mest velansete tidsskrifter er det næsten udelukkende fantastiske opdagelser, der beskrives. Nulresultater er typisk hverken super sexede eller fantastiske, men det er bestemt ikke det samme som, at de ikke er vigtige,« siger han.

Der har været flere forsøg på at gå imod strømmen, for eksempel i 2015, hvor en af forlæggerne bag det videnskabelige forlag Elsevier i en artikel proklamerede, at nu ville de starte et tidsskrift KUN for negative resultater – New Negatives in Plant Science.

Tidsskriftet overlevede dog kun i under et år og blev lukket igen i september 2016, hvilket ikke overrasker ph.d.-studerende Silas Boye Nissen:

»Negative artikler giver bare ikke nok citationer til, at sådan nogle tidsskrifter kan overleve, som det er lige nu,« siger han.

Hvis skyld er det?

Selvom flere forskere identificerer tidsskrifternes fokus på positive historier som en af grundene til de efterhånden ret udbredte problemer i både grundforskningen og forskningsverdenen generelt, er det dog stadig svært at placere ansvaret hos én aktør, mener Silas Boye Nissen.

»Jeg kan ikke pege fingre på nogle konkrete, det er et fælles ansvar, fordi der er pres på fra alle sider om at have mange publikationer, og helst med positive resultater – fra fonde, universitetsledelser, tidsskrifter, medier med mere. Der hersker en ond cirkel,« siger han.

\ Læs mere

Fare for farvede forskningsresultater

Som en del af den instans, der uddeler midler til forskerne, påtager formanden for Det Frie Forskningsråd, Peter Munk Christiansen, sig da også en del af skylden.

»Vi er et tandhjul i systemet, så vi er også delvist skyld i det. Vi har jævnligt diskussioner om, hvad det er, vi belønner – vi belønner den gode ide, men vi giver også til folk, der har vist, at de har publiceret godt,« siger han.

Men forskerner bidrager også selv til at kanalisere de positive resultater ud på bekostning af de negative, mener Torben Lund:

»Inden for visse forskningsfelter findes der tidsskrifter, hvor over 90 procent af de publicerede artikler rapporterer positive fund. Dette forhold vil med stor sikkerhed kunne genfindes i den enkelte forskers publikationsliste, det kan det eksempelvis i min egen,« siger han.

Det forhold vil næppe være i overensstemmelse med den forskning, der rent faktisk produceres, men det er den tilstand, der opstår, når både tidsskrifter og forskere vurderes efter, hvor meget deres artikler bliver citeret, forklarer Torben Lund. For når der kun er 24 timer i døgnet, må der prioriteres:

»En artikel om et nulresultat er sværere at skrive og sværere at få publiceret, og hvis det endelig skulle lykkes, bliver den sjældnere citeret, end hvis du havde lagt et tilsvarende arbejde i en artikel om et positivt fund,« siger han.

Og sådan bider problemet ifølge forskerne sig selv i halen.

Professor: »Det kan også skyldes dårlig forskning«

En forsker, der imidlertid ikke ser problemet som helt så gruopvækkende, er professor Kaj Sand-Jensen fra Københavns Universitet. Han anerkender, at der publiceres relativt få negative resultater, men han er uenig i, at det per automatik er et problem.

»Der kan jo også være gode grunde til, at man får afslag på at publicere negative resultater. Det kan være, fordi metoderne eller resultaterne er svage. Det skal man ikke glemme i den her diskussion,« siger han.

Negativt resultat var »for besværligt«

Kaj Sand-Jensen har dog selv et eksempel på et negativt resultat, der blev ignoreret, som ikke skulle have været det.

I midt-1970’erne udkom der nemlig en artikel, der viste, at ålegræs transporterer fosfor gennem bladene og ud i vandet, hvilket han og kollegerne hurtigt blev enige om ikke gav nogen mening:

»Vi tænkte, at det ikke kunne passe, og at forfatterne bag måtte have lavet et dårligt forsøg. En af mine kolleger bestemte sig for at gentage forsøget, og han fik et negativt resultat – ålegræsset transporterede ikke noget fosfor,« fortæller han.

»Desværre sagde min kollega, at han ikke ville forsøge at publicere resultatet, da ‘det var for besværligt’ og at han ‘jo ville komme til at jorde vedkommende’. Derfor blev det afkræftende studium aldrig publiceret, og de forkerte resultater blev gengivet i lærebøger i adskillige år, indtil senere studier afviste dem. Det resultat burde jo have været publiceret med det samme,« fortæller han.

Forskes der for meget?

Problemerne på både den danske og internationale forskningsscene er omfangsrige, og det kan være svært at adskille årsag og effekt.

Som Videnskab.dk har beskrevet i en tidligere artikel, mener en række forskere, at en stor del af dårligdommen udspringer fra et alt for stort fokus på kvantitet over kvalitet. Forskerne publicerer som aldrig før, og antallet af videnskabelige artikler er steget markant i de seneste år.

Men betyder mængden af videnskabelige publikationer også noget i andre henseender – eksempelvis for, om forskerne kan følge med i den litteratur, der bliver udgivet? Eller for hvor relevante de enkelte artikler ender med at blive, fordi forskningen smøres ud på flest mulige udgivelser?

Bliver der i dag simpelthen publiceret for meget forskning? Den diskussion udfoldes snart i næste artikel i rækken.