Peer review: Forskningens kvalitetsstempel har ridser i lakken
Videnskabelige artikler er ikke altid det papir værd, som de er skrevet på. Heller ikke selv om de er godkendt af uvildige forskere i den accepterede godkendelsesproces, peer review.

Peer review-processen har til tider svært ved at leve op til sit gode omdømme som et kvalitetsstempel, der er baseret på en objektiv, grundig og uvildig gennemgang.

 

»Artiklen er publiceret i det højtprofilerede videnskabelige tidsskrift PNAS.«

Den vending bruger vi tit her på Videnskab.dk for at slå fast med syvtommersøm, at den videnskabelige artikel har fået det ypperste kvalitetsstempel ved at slippe igennem en såkaldt peer review, som er en fagfællebedømmelse (Se boks).

Peer review har vundet indpas overalt i den videnskabelige verden og er den eneste rigtige kvalitetskontrol, der finder sted. De fleste forskere sætter deres lid til, at systemet fungerer, som det skal. Men processen er fyldt med fejl og mangler, advarer eksperter, der bl.a. påpeger følgende problemer:

  • Bedømmelserne er langt fra objektive, men er styret af bedømmernes personlige holdninger og faglige kæpheste.
  • Tidsskrifterne er skeptiske over for nye banebrydende teorier og hylder i stedet det kendte.
  • Redaktører og bedømmere mangler et overblik over, hvad der tidligere er blevet publiceret (se boks) og har derfor både svært ved at vurdere, om et forskningsresultat nu også virkelig er nyt.
  • Systemet er dårligt rustet til at afsløre svindel.
     

Peer review er den eneste kvalitetskontrol

En af de kritiske røster tilhører lektor Jesper Wiborg Schneider fra Det Informationsvidenskabelige Akademi i Ålborg, der har peer review-systemet som en del af sit specialeområde.

»Mange undersøgelser har dokumenteret, at peer review-processen langt fra er optimal,« siger Jesper Wiborg Schneider. 

Fakta

Et af de kriterier, som et nyt forskningsresultat bliver vurderet på, er hvor stor en betydning det vil få for samfundet på sigt. Men faktisk er der en ret lille sammenhæng mellem bedømmernes anbefalinger og den gennemslagskraft, som resultaterne sidenhen får i det videnskabelige samfund i form af citater og omtale.

Peer review får også prygl af lektor i videnskabsteori Claus Emmeche, der er leder af Center for Natur, Filosofi og Videnskabsstudier på Niels Bohr-Instituttet ved Københavns Universitet.

»Nogle af procedurerne i peer review-processen kunne sagtens trænge til en opstrammer, andre ting skulle ligefrem revideres eller kasseres,« siger Claus Emmeche.

Bedømmerne er af kød og blod

En af de største problemer ved peer review er, at bedømmerne ikke er maskiner, men mennesker med følelser og holdninger, der let smitter af på vurderingerne.

»Den store udfordring er at sikre den nødvendige objektivitet,« siger Claus Emmeche.

Fakta

Inden for naturvidenskab publicerer man typisk sine resultater i videnskabelige artikler, mens man inden for humaniora publicerer i monografier. Her foregår kvalitetssikringen ved, at forfatteren sender sine kapitler til kollegerne, der så kommer med forslag til rettelser. Det er en lidt anden måde at lave peer review på, men effekten er den samme: Manuskriptets kvalitet bliver højnet betragteligt inden publicering.

Ansvaret for, at en bedømmelse bliver tilpas objektiv og dermed troværdig, er i høj grad bundet op på redaktøren på  det enkelte tidsskrift.

»Redaktøren vil typisk være en anerkendt forsker inden for det pågældende fagområde, som man må stole på, har kompetencerne og integriteten til at sammensætte et panel af bedømmere, der har den nødvendige troværdighed,« fortæller Claus Emmeche.

Svært at være objektiv i stridsspørgsmål

Den opgave udfordrer specielt tidsskriftets redaktør inden for de fagområder, hvor der er interne stridigheder mellem forskergrupper, der forsvarer hver sin videnskabelige teori. Den situation stiller også ekstra store krav til de udpegede bedømmere om at se bort fra deres egne overbevisninger og vurdere metoder og resultater helt nøgternt.

Klimaområdet er et eksempel på forskning, der er svær for redaktørerne at have med at gøre, fordi der er forskellige skoler inden for feltet med forskere, der internt bekriger hinanden.

»Der ligger nogle store fristelser for forskerne selv, at de i bedømmelsesprocessen ikke er objektive og kommer til at afvise en artikel på baggrund af faglig uenighed, fordi bedømmeren selv er en aktiv spiller i den faglige strid. De kommer uvilkårligt til at vurdere artiklen mere kritisk end de ville have gjort, hvis ikke de havde aktier i sagen,« siger Claus Emmeche.

Fakta

Peer review-processen varierer fra tidsskrift til tidsskrift og ændrer sig også over tid.

Det problem påpeger Jesper Wiborg Schneider også.

»Der er eksempler på, at bedømmerne i et peer review var konkurrenter til dem, de skulle bedømme, hvilket skabte etiske problemer. Deres anbefalinger var farvede og fordomsfulde og byggede mere på personlige præferencer end på faglige argumenter,« påpeger han.

Stor uenighed blandt fagfæller

Et andet tegn på manglende objektivitet er, at bedømmerne sjældent er enige i deres vurderinger, fortæller Jesper Wiborg Schneider.

Han henviser til et studie fra 2005, hvor sociologiprofessor William Haynes Starbuck fra Harvard University beregnede, hvor stor enighed der var blandt bedømmelserne af en artikel. Den såkaldte korrelation lå et sted mellem 0,09 og 0,5 – det er tæt på det store runde 0, der svarer til den laveste grad af enighed og langt fra 1-tallet, der angiver fuldstændig enighed.

Neurologerne Peter M. Rothwell og Christopher N. Martyn fra Oxford University i England nåede i 2000 frem til en lignende konklusion.

Det er op til den enkelte forsker at vurdere, om en bedømmelse er værd at bruge tid på, eller om de hellere skulle investere kræfterne i at skrive deres egne artikler. Men hvis de alle blev nærige på det punkt, ville peer review-systemet bryde sammen.

Claus Emmecke

De viste, at korellationen mellem bedømmerne ikke var meget større, end hvad man kunne forvente ved ren tilfældighed.

Hver stemme har stor magt

Når uenigheden mellem peer reviewerne er så stor, og antallet af bedømmere er meget lille, så kan den enkelte bedømmelse få afgørende betydning for artiklens videre skæbne.

Det fremgår af et nyere studie af peer review-processen fra 2009 af de to psykologer Lutz Bornmann og Hans-Dieter Daniel. De undersøgte, hvordan peer review fungerer i det højtprofilerede kemiske tidsskrift Angewandte Chemie- International Edition.

Kemi-tidsskriftets redaktører bruger i visse situationer tre peer reviewere per artikel. Det hænder dog, at en af bedømmerne indleverer vurderingen for sent, så redaktørerne ikke når at tage højde for den i deres endelige afgørelse.

De to psykologer fik indsigt i de bedømmelser, der var afleveret efter deadline, og undersøgte, hvilken konsekvens det ville have haft for udfaldet, hvis den tredje bedømmelse blev taget med.

»Psykologernes undersøgelse viser, at man havde opnået en anderledes afgørelse i hele 25 procent af tilfældene,« pointerer Jesper Wiborg Schneider.

Jagten på svindel tager tid 

Fakta

Undersøgelser viser, at forskere generelt har tillid til peer review som et værktøj til at sikre kvalitet i publiceringsprocessen.

Peer review er ikke kun til for at sikre forskningskvalitet men også til at afsløre sjusk eller fusk med data.

Men realiteten er, at svindel sjældent bliver opdaget i publiceringsprocessen, og forklaringen på at systemet fejler, er først og fremmest mangel på tid.

»Det tager tid for en bedømmer at sætte sig ordentligt ind i substansen af en artikel til at kunne afsløre svindel. En forudsætning for at afsløre snyd er også at være tilstrækkeligt velfunderet inden for stofområdet, for svindel optræder typisk dér, hvor et resultat er for godt til at være sandt, det vil sige, hvor fejlmarginen er for lille,« fortæller Claus Emmeche.

Jesper Wiborg Schneider forklarer de manglende afsløringer med, at bedragere lægger mange kræfter i at skjule deres svindelnumre og få resultaterne til at se naturlige og tilforladelige ud.

»Man kan pege på mange eksempler på, at forskningssnyd først bliver opdaget efter publicering. Et af de mest spektakulære eksempler de seneste år er vel kineseren Hwang Woo-Suk, som fik artikler antaget, hvori han og hans team påstod, at de succesfuldt havde foretaget kloning af menneskelige celler. Svindlen var gået helt hen over hovedet på peer reviewerne,« siger han.

Skepsis overfor nytænkning

Svindel slipper altså tit igennem peer review-processen. Til gengæld har hæderlige artikler, der præsenterer banebrydende nye teorier generelt svært ved at få bedømmernes accept.

»Peer review-processen er ikke særligt fleksibel i forhold til radikale innovationer og paradigmeskift. En nyere undersøgelse viser, at bedømmere finder metodiske mangler i 70 procent af de manuskripter, der går imod mainstream, sammenlignet med kun 25 procent af dem, der bekræfter gamle teorier,« siger Jesper Wiborg Schneider.

Graden af skepsis afhænger meget af, hvor anerkendt tidskriftet er.

De højtprofilerede tidsskrifter har en tendens til at afvise manuskripter, der præsenterer nye banebrydende teorier og idéer. De afviste artikler dukker senere op i lavere rangerende tidsskrifter, som er mere åbne og tolerante over for noget, der er lidt skævt.

»Mange af disse artikler fejler ikke noget, men har været grundlaget for priser, herunder Nobelpriser,« siger Jesper Wiborg Schneider.

Den skævvridning er ikke kun af det onde. For selv om forskernes artikler sjældent udkommer i det videnskabelige tidsskrift, som man først havde satset på, så ender det altså i langt de fleste tilfælde med, at artiklerne bliver publiceret.

Alle synspunkter ender altså i sidste ende med at komme frem.

»En sådan mangfoldighed er nødvendig og er i høj grad bundet op på, at peer review foregår decentralt på de enkelte tidsskrifter. Denne styrke bliver oftest overset af kritikerne. Mangfoldigheden og decentraliseringen opvejer mange af de svagheder, som peer review-systemet har. Det kan forklare, hvorfor man bliver ved med at holde fast i systemet,« slutter Jesper Wiborg Schneider.

Peer review er ikke bare et kvalitetsstempel men er også med til at gøre publikationen bedre.

Claus Emmeche

 

Tidsskrifterne har ikke styr på artiklerne

Et andet problem ved peer review er, at hverken bedømmere eller redaktører altid har helt styr på, hvad der tidligere er blevet publiceret. Hvert år bliver der udgivet tusindvis af videnskabelige artikler, hvilket selv ikke den mest opmærksomme forsker kan have et fuldstændigt overblik over.

Den svaghed blev synliggjort i et berømt studie fra 1982, af de to amerikanske psykologer Douglas P. Peters fra University of North Dakota samt Stephen J. Ceci fra Cornell University, Ithaca.

De to forskeres genindsendte 12 artikler til en række højt profilerede tidsskrifter, der 12 til 36 måneder tidligere allerede havde publiceret de pågældende artikler. Ud over at forfatternavnene var lavet om, var indholdet præcist det samme.

»Kun tre af artiklerne blev ’opdaget’ af redaktørerne og bedømmerne. Af de resterende ni artikler, som tidligere var blevet publiceret, blev otte artikler afvist med det argument, at kvaliteten ikke var høj nok,« fortæller Peter Wiborg Schneide

Peer review er en omstændelig proces

Peer review er en proces, som alle forskere kender til. Alle, der vil offentliggøre nye resultater, er nemlig underkastet den godkendelsesproces. 

En forudsætning for, at en artikel bliver publiceret i et videnskabeligt tidsskrift er, at den er blevet godkendt af to eller tre uvildige eksperter, som er udpeget til opgaven af tidsskriftets redaktører. Det er denne proces, der kaldes for en peer review eller en fagfællebedømmelse.

Bedømmernes identitet er hemmelig. Det sikrer, at forskere ikke kan true og chikanere en bedømmer og at bedømmerne ikke indbyrdes kan rotte sig sammen og lægge en fælles strategi.

Bedømmerne får sammen med artiklen udleveret et skema, der stiller en række spørgsmål om artiklens kvalitet. Bedømmerne bliver bl.a. bedt om at vurdere, hvor gode de beskrevne forskningsmetoder er, og om resultater og konklusioner rent faktisk stemmer overens med det, som forskerne som udgangspunkt planlagde at undersøge. Til sidst bliver de bedt om at angive deres mening om, hvorvidt artiklen skal forkastes, revideres eller om den er klar til publicering. Bedømmelserne sendes herefter ind til tidsskriftets redaktører, der tager den endelige beslutning om, hvorvidt de vil publicere artiklen.

Peer review har vundet indpas overalt i den videnskabelige verden og bruges både inden for naturvidenskab, samfundsvidenskab og humaniora.

Bornmann, L. & Daniel, H.-D. (2009). The luck of the referee draw. The effect of exchanging reviews. Learned Publishing, 22(2), 117-125.

Cicchetti, D. V. (1991). The reliability of peer review for manuscript and grant submissions: A cross-disciplinary investigation. Behavioral and Brain Sciences, 14, 119-135.

Cole, J. R. (2000). The role of journals in the growth of scientific knowledge. In: B. Cronin & H. B. Atkins (Eds.): The web of knowledge: A festschrift in honor of Wugene Garfield (pp. 109-142). Medford, NJ: Information Today, Inc.

Cole, S., Cole, J. R., & Simon, G. A. (1981). Chance and Consensus in Peer Review. Science, 214 (20 November 1981), 881.

Frey, B. S. (2003). Publishing as prostitution? Choosing between one’s own ideas and academic success. Public Choice, 116(1-2), 205-223.

Mahoney, M. J. (1977). Publication prejudices: An experimental study of confirmatory bias in the peer review system. Cognitive Therapy Research, 1m, 161-175.

Peters, D., & Ceci, S. J. (1982). Peer review practices of psychological journals: the fate of published articles, submitted again. The Behavioral and Brain Sciences, 5, 187-195.

Rothwell, P. M. & Martyn, C. N. (2000). Reproducibility of peer review in clinical neuroscience. Is agreement between reviewers any greater than would be expected by chance alone? Brain, 123, 361-376.

Starbuck, W. H. (2005). How much better are the most prestigious journals? The statistics of academic publication. Organization Science, 16, p. 180-200.

Starbuck, W. H. (2006). The production of knowledge. The challenge of social science research. Cambridge, UK: Oxford University Press.

Lyt på Videnskab.dk!

Hver uge laver vi digital radio, der udkommer i form af en podcast, hvor vi går i dybden med aktuelle emner fra forskningens verden. Du kan lytte til den nyeste podcast i afspilleren herunder eller via en podcast-app på din smartphone.

Har du en iPhone eller iPad, kan du finde vores podcasts i iTunes og afspille dem i Apples podcast app. Bruger du Android, kan du med fordel bruge SoundClouds app.
Du kan se alle vores podcast-artikler her eller se hele playlisten på SoundCloud

Det sker