Nature og Science: Prestige ikke lig med troværdigt indhold

’Det anerkendte videnskabelige tidsskrift’. Sådan skriver Videnskab.dk ofte, når vi omtaler tidsskrifter som Nature og Science. I dét ligger, at her er et tidsskrift, som man kan have tillid til.

Men i virkeligheden er kvaliteten af indholdet, det vil sige de videnskabelige artikler, ikke altid højere for de meget prestigefulde tidsskrifter, som mange forskere ville brække en arm for at få deres forskning publiceret i.

»Tværtimod antyder en voksende mængde af beviser det modsatte, nemlig at den metodiske kvalitet, og dermed pålideligheden af offentliggjorte forskningsresultater, på flere områder kan falde i takt med tidsskriftets rangering,« skriver den tyske professor i neurobiologi og -genetik Björn Brembs i et indlæg, som pt. er ved at blive bedømt af fagfæller.

Björn Brembs arbejder til daglig på Regensburg Universitet i Bayern og sidder derudover i Editorial Board for det amerikanske open access-tidsskrift PLoS ONE.

Indlægget med titlen ‘Prestigious science journals struggle to reach even average reliability’ bygger videre på, og udvider bevisbyrden fra, et videnskabeligt studie fra 2013.

Neurovidenskab og biomedicin gennem 15 år

I indlægget opstiller den tyske forsker en række eksempler på studier, der sammenligner den metodiske kvalitet for videnskabelige studier, som er udgivet i prestigiøse og mindre prestigiøse tidsskrifter – angivet ved deres såkaldte ’Impact Factor’. Den vender vi tilbage til.

Alle studierne, på nær ét, peger på, at der ikke er grund til at tillægge en videnskabelig artikel større troværdighed, alene fordi den er publiceret i et ’velanset’ tidsskrift.

Det skal retfærdigvis siges, at Björn Brembs primært har kigget på videnskabelig litteratur, som ligger i forlængelse af hans eget forskningsfelt - samt de øvrige forfattere af det oprindelige studie - inden for de seneste 15 år. Studierne centrerer sig derfor omkring biomedicinsk forskning.

Studierne i Brembs’ gennemgang viser eksempelvis, at de højest rangerende tidsskrifter har:

1. Overdrevne effektstørrelser

Sommetider finder forskere en sammenhæng mellem ét gen og ét udfald. Det kan eksempelvis være gen x og rygning; altså at folk, der ryger, ofte også har gen x. Men hvor stor er sammenhængen egentlig mellem det gen og udfaldet i den anden ende?

Ved at sammenligne de samme gen-associationer for adskillige studier – en såkaldt metaanalyse – kunne en forskergruppe i 2009 vise, at prestigiøse tidsskrifter havde en større tendens til at overdrive sammenhængen mellem gen x og udfald y, den såkaldte ’effektstørrelse’. De samme tidsskrifter havde desuden tendens til at udgive studier med mindre prøver.

»Disse sammenhænge lyder jo ofte fantastiske: ’Hvem skulle have troet, at det her gen havde så stor effekt på rygning?!’ Men sommetider er denne sammenhæng overdrevet, og det er der altså tendens til inden for top-tidsskrifterne,« siger Björn Brembs.

2. Samme eller dårligere grad af statistisk sikkerhed

Den statistiske sikkerhed af et studie måles ud fra effektstørrelsen og prøvestørrelsen – det kan eksempelvis dække over antallet af forsøgspersoner – og giver mulighed for at vurdere sandsynligheden for, at et statistisk fund faktisk afspejler en sand effekt.

I sit indlæg skriver Björn Brembs, at statistisk styrke på mange måder er direkte relateret til pålideligheden af de udførte forsøg.

Button et al. (2013) analyserede den statistiske effekt af 730 neurovidenskabelige artikler og viste, at de prestigiøse tidsskrifter ikke publicerede studier af højere kvalitet i form af statistisk sikkerhed.

I et nyere studie, fra 2017, konkluderer to andre forskere, at graden af statistisk sikkerhed ligefrem falder i takt med tidsskriftets rangering.

»Sammenlagt viser dette, at resultater – inden for de udvalgte forskningsområder – fra højt rangerende tidsskrifter har tendens til at være mindre troværdige, om end troværdigheden statistisk set var generelt lav over hele linjen,« skriver Björn Brembs videre i indlægget.

\ Læs mere

Pas på disse faldgruber, når du læser statistik

3. Dårligere computermodeller

Kvaliteten af de computermodeller, som bruges til at strukturere molekyler, kan kvantificeres – det vil sige beregnes – ved hjælp af en metode, som tager højde for adskillige statistiske faktorer.

Heriblandt de kendte afstande mellem atomer. Et gennemsnit af kvaliteten af disse modeller viste, at prestigiøse tidsskrifter klarede sig dårligst. Nederst på listen lå tidsskrifter som Cell, Science, Molecular Cell og Nature.

»De værste gerningsmænd er tilsyneladende de generelle videnskabelige tidsskrifter med højest impact (rangering, red.),« skriver Brown og Ramaswamy (2007) i deres abstract, som du kan læse her.

De øvrige studier i Björn Brembs gennemgang zoomer blandt andet ind på toptidsskrifters udfordring med P-værdien og mangel på randomisering og blinding i dyreforsøg, som begge er vigtige for validiteten af et studie. Dem kan du læse mere om i artiklen ’Guide: Bliv en kritisk læser af nyheder om forskning’.

Nature og Science er en hed drøm for mange

Som Videnskab.dk tidligere har beskrevet, er videnskabelige artikler i dag omdrejningspunkt for et succesfuldt forskerliv. Forskerne bliver hele tiden målt og vejet på, hvor meget de publicerer, men også hvor de får deres forskning bliver publiceret.

Kan du skrive på dit CV, at du har fået en artikel udgivet i et meget prestigefyldt tidsskrift, står du langt bedre i dine muligheder for at få job, lønforhøjelse, bevillinger fra fonde osv. Derfor kan det synes paradoksalt, at de prestigiøse tidsskrifter ikke nødvendigvis borger for en bedre kvalitet.

»Forskere har det lidt sådan med Nature og Science: ’Tænk, hvis man en dag kunne få en artikel i en af dem, så ville alt være godt’. Det er en hed drøm for mange,« lyder det fra den danske forsker Jeppe Nicolaisen, som har læst Björn Brembs indlæg på opfordring fra Videnskab.dk.

»Der er nogle få tidsskrifter, som er i en særlig liga, og der tænker man, at det må være, fordi de har noget særligt. Men de her resultater taler faktisk for noget andet: At de ikke udmærker sig,« siger han.

\ Læs mere

Salamiforskning: Forskerne publicerer for meget

»Gennemsnittet er det dårligste mål«

Og nu vender vi tilbage til den såkaldte Impact Factor, som altså er en udbredt metode til at rangere tidsskrifter, og også er den, Björn Brembs tager udgangspunkt i i sin forskningsgennemgang. Impact Factor er et mål for, hvor mange gange et tidsskrifts artikler bliver citeret af andre forskere.

Langt oppe på listen over Impact Factor ligger eksempelvis tidsskrifter som Cell, Science, Nature og en lang række Nature-undertidsskrifter (såsom Nature Reviews Genetics og Nature Reviews Immunology).

Men for Jeppe Nicolaisen er der overhovedet ingen overraskelse i, at en høj Impact Factor ikke hænger sammen med et gennemsnitligt højere niveau af troværdighed. Det er velkendt, at Impact Factor er et problematisk mål for pålidelighed og kvalitet, fortæller han.

»Impact Factoren er et gennemsnit, og alle ved, at gennemsnittet er det dårligste mål, fordi langt de fleste publikationer ligger langt fra gennemsnittet. ’Den lange hale’ kalder vi det. Det er et velkendt bibliometrisk fænomen,« siger forskeren, som arbejder med bibliometri ved Det Informationsvidenskabelige Akademi på Københavns Universitet. Bibliometri er brug af tal og statistik i forbindelse med forskning, eksempelvis inden for forskningsevaluering.

Impact Factor er for let at udregne

Problemet, forklarer Jeppe Nicolaisen, er, at det er utroligt let at udregne Impact Factoren, mens det er svært – i hvert fald for ikke-bibliometrikere – at regne med andre, mere pålidelige metoder.

»Alle, der arbejder professionelt med det her, ved godt, at det er vildt problematisk at regne med Impact Factor alene. Det er der ingen i bibliometriens verden, der er i tvivl om, og vi arbejder hele tiden med at udarbejde nye og bedre mål. Problemet er, at de er meget mere besværlige at beregne,« siger Jeppe Nicolaisen, der sammen med en kollega selv har været med til at udvikle en målemetode, som de kalder ’Reference Return Ratio’ (3R).

3R er baseret på beregninger af et miks af referencer og citater for en videnskabelig artikel og korrigerer ifølge forskerne selv for nogle af de usikkerheder, som Impact Factor ofte beskyldes for. Eksempelvis ’selv-citering’, som er når en forsker citerer sig selv, sine venner eller det tidsskrift, hun søger optagelse i.

»Men det er for svært at udregne og kommer formentlig aldrig til at slå igennem,« tilføjer han. Metoden bliver nærmere beskrevet i dette studie fra 2008.

\ Læs mere

Science og Nature bliver mindre vigtige

Toptidsskrifter vægter nyhedsværdi højest

Det er altså tilsyneladende ikke overraskende, at de prestigiøse tidsskrifter ikke udgiver indhold af højere kvalitet. Til gengæld kan det være sværere at sætte fingeren på, hvorfor de i nogle tilfælde ser ud til ligefrem at udgive artikler af en ringere kvalitet.

Ifølge Björn Brembs skal en del af forklaringen findes i det faktum, at toptidsskrifterne har en klar tendens til at prioritere forskningsresultater, som lugter af gennembrud over lødighed.

Denne tilbøjelighed har Videnskab.dk tidligere beskrevet i artiklen ’Betalingstidsskrifter vægter sexy science over nøjagtighed’.

»Toptidsskrifterne vægter nyhedsværdi over troværdighed, det er der ingen tvivl om. Det er selvfølgelig ikke noget, de vil sige højt, men det er bedre for dem at publicere fantastiske resultater, som nogle gange er forkerte, end kedelige resultater der altid er rigtige,« siger Björn Brembs.

\ Læs mere

Hvorfor ser vi mere forskerfusk?

Det er selvfølgelig vigtigt i den sammenhæng at tilføje, at det langt fra altid er tilfældet, at de fantastiske forskningsgennembrud - som netop ofte publiceres i tidsskrifter som Nature og Science, fordi det er her, forskerne først forsøger at få afsat deres manuskripter - er forkerte.

Desuden er netop Nature og Science sammen med en lang række mindre udgivelser gået sammen om at bekæmpe den såkaldte 'reproducerbarhedskrise', som du kan læse mere om i artiklen 'Verdens største tidsskrifter til kamp mod falsk forskning'.

Skal god forskning måles på udgivelsessted?

Problemet for toptidsskrifterne er bare, at skillelinjen mellem ’fantastiske’ og ’for fantastiske’ resultater er hårfin. Det kan være enormt svært for redaktørerne at sortere i den store og stigende mængde materiale, de får tilsendt, påpeger Björn Brembs.

»Måske det endda kan være sværere for de meget velansete tidsskrifter, simpelthen fordi de får tilsendt mere. Alle er desperate efter at få udgivet mest muligt i flest mulige prestigiøse tidsskrifter,« siger Björn Brembs.

I sin gennemgang af 15 års forskning er han faktisk kun stødt på ét studie (se boks længere oppe), som tilskrev toptidsskrifternes indhold større troværdighed end de øvrige tidsskrifter.

»Vi har i lang tid brugt tidsskrifternes rangering til at udvælge, hvem der skulle have jobbet som professor, eller hvem der skulle have en bevilling. Men vi må overveje, om god forskning skal måles på udgivelsessted – eller på troværdighed.«

Jeppe Nicolaisen er ligeledes glad for, hvis den tyske neurogenetikers opråb kan skabe en ny, og tiltrængt, debat om nytteværdien ved Impact Factor.

»Vi bibliometrikere er hamrende trætte af, at folk tror, at Impact Factor er vigtigt. Det er et gennemsnit, der ikke fortæller noget som helst i sig selv. Så jeg er glad for, at der kommer mere fokus på det her, for der findes langt bedre mål derude.«