Peer review: Forskningens kvalitetsstempel har ridser i lakken

»Artiklen er publiceret i det højtprofilerede videnskabelige tidsskrift PNAS.«

Den vending bruger vi tit her på Videnskab.dk for at slå fast med syvtommersøm, at den videnskabelige artikel har fået det ypperste kvalitetsstempel ved at slippe igennem en såkaldt peer review, som er en fagfællebedømmelse (Se boks).

Peer review har vundet indpas overalt i den videnskabelige verden og er den eneste rigtige kvalitetskontrol, der finder sted. De fleste forskere sætter deres lid til, at systemet fungerer, som det skal. Men processen er fyldt med fejl og mangler, advarer eksperter, der bl.a. påpeger følgende problemer:

• Bedømmelserne er langt fra objektive, men er styret af bedømmernes personlige holdninger og faglige kæpheste.
• Tidsskrifterne er skeptiske over for nye banebrydende teorier og hylder i stedet det kendte.
• Redaktører og bedømmere mangler et overblik over, hvad der tidligere er blevet publiceret (se boks) og har derfor både svært ved at vurdere, om et forskningsresultat nu også virkelig er nyt.
• Systemet er dårligt rustet til at afsløre svindel.
  

Peer review er den eneste kvalitetskontrol

En af de kritiske røster tilhører lektor Jesper Wiborg Schneider fra Det Informationsvidenskabelige Akademi i Ålborg, der har peer review-systemet som en del af sit specialeområde.

»Mange undersøgelser har dokumenteret, at peer review-processen langt fra er optimal,« siger Jesper Wiborg Schneider.

Peer review får også prygl af lektor i videnskabsteori Claus Emmeche, der er leder af Center for Natur, Filosofi og Videnskabsstudier på Niels Bohr-Instituttet ved Københavns Universitet.

»Nogle af procedurerne i peer review-processen kunne sagtens trænge til en opstrammer, andre ting skulle ligefrem revideres eller kasseres,« siger Claus Emmeche.

Bedømmerne er af kød og blod

En af de største problemer ved peer review er, at bedømmerne ikke er maskiner, men mennesker med følelser og holdninger, der let smitter af på vurderingerne.

»Den store udfordring er at sikre den nødvendige objektivitet,« siger Claus Emmeche.

Ansvaret for, at en bedømmelse bliver tilpas objektiv og dermed troværdig, er i høj grad bundet op på redaktøren på det enkelte tidsskrift.

»Redaktøren vil typisk være en anerkendt forsker inden for det pågældende fagområde, som man må stole på, har kompetencerne og integriteten til at sammensætte et panel af bedømmere, der har den nødvendige troværdighed,« fortæller Claus Emmeche.

Svært at være objektiv i stridsspørgsmål

Den opgave udfordrer specielt tidsskriftets redaktør inden for de fagområder, hvor der er interne stridigheder mellem forskergrupper, der forsvarer hver sin videnskabelige teori. Den situation stiller også ekstra store krav til de udpegede bedømmere om at se bort fra deres egne overbevisninger og vurdere metoder og resultater helt nøgternt.

Klimaområdet er et eksempel på forskning, der er svær for redaktørerne at have med at gøre, fordi der er forskellige skoler inden for feltet med forskere, der internt bekriger hinanden.

»Der ligger nogle store fristelser for forskerne selv, at de i bedømmelsesprocessen ikke er objektive og kommer til at afvise en artikel på baggrund af faglig uenighed, fordi bedømmeren selv er en aktiv spiller i den faglige strid. De kommer uvilkårligt til at vurdere artiklen mere kritisk end de ville have gjort, hvis ikke de havde aktier i sagen,« siger Claus Emmeche.

Det problem påpeger Jesper Wiborg Schneider også.

»Der er eksempler på, at bedømmerne i et peer review var konkurrenter til dem, de skulle bedømme, hvilket skabte etiske problemer. Deres anbefalinger var farvede og fordomsfulde og byggede mere på personlige præferencer end på faglige argumenter,« påpeger han.

Stor uenighed blandt fagfæller

Et andet tegn på manglende objektivitet er, at bedømmerne sjældent er enige i deres vurderinger, fortæller Jesper Wiborg Schneider.

Han henviser til et studie fra 2005, hvor sociologiprofessor William Haynes Starbuck fra Harvard University beregnede, hvor stor enighed der var blandt bedømmelserne af en artikel. Den såkaldte korrelation lå et sted mellem 0,09 og 0,5 – det er tæt på det store runde 0, der svarer til den laveste grad af enighed og langt fra 1-tallet, der angiver fuldstændig enighed.

Neurologerne Peter M. Rothwell og Christopher N. Martyn fra Oxford University i England nåede i 2000 frem til en lignende konklusion.

Det er op til den enkelte forsker at vurdere, om en bedømmelse er værd at bruge tid på, eller om de hellere skulle investere kræfterne i at skrive deres egne artikler. Men hvis de alle blev nærige på det punkt, ville peer review-systemet bryde sammen.

Claus Emmecke

De viste, at korellationen mellem bedømmerne ikke var meget større, end hvad man kunne forvente ved ren tilfældighed.

Hver stemme har stor magt

Når uenigheden mellem peer reviewerne er så stor, og antallet af bedømmere er meget lille, så kan den enkelte bedømmelse få afgørende betydning for artiklens videre skæbne.

Det fremgår af et nyere studie af peer review-processen fra 2009 af de to psykologer Lutz Bornmann og Hans-Dieter Daniel. De undersøgte, hvordan peer review fungerer i det højtprofilerede kemiske tidsskrift Angewandte Chemie- International Edition.

Kemi-tidsskriftets redaktører bruger i visse situationer tre peer reviewere per artikel. Det hænder dog, at en af bedømmerne indleverer vurderingen for sent, så redaktørerne ikke når at tage højde for den i deres endelige afgørelse.

De to psykologer fik indsigt i de bedømmelser, der var afleveret efter deadline, og undersøgte, hvilken konsekvens det ville have haft for udfaldet, hvis den tredje bedømmelse blev taget med.

»Psykologernes undersøgelse viser, at man havde opnået en anderledes afgørelse i hele 25 procent af tilfældene,« pointerer Jesper Wiborg Schneider.

Jagten på svindel tager tid

Peer review er ikke kun til for at sikre forskningskvalitet men også til at afsløre sjusk eller fusk med data.

Men realiteten er, at svindel sjældent bliver opdaget i publiceringsprocessen, og forklaringen på at systemet fejler, er først og fremmest mangel på tid.

»Det tager tid for en bedømmer at sætte sig ordentligt ind i substansen af en artikel til at kunne afsløre svindel. En forudsætning for at afsløre snyd er også at være tilstrækkeligt velfunderet inden for stofområdet, for svindel optræder typisk dér, hvor et resultat er for godt til at være sandt, det vil sige, hvor fejlmarginen er for lille,« fortæller Claus Emmeche.

Jesper Wiborg Schneider forklarer de manglende afsløringer med, at bedragere lægger mange kræfter i at skjule deres svindelnumre og få resultaterne til at se naturlige og tilforladelige ud.

»Man kan pege på mange eksempler på, at forskningssnyd først bliver opdaget efter publicering. Et af de mest spektakulære eksempler de seneste år er vel kineseren Hwang Woo-Suk, som fik artikler antaget, hvori han og hans team påstod, at de succesfuldt havde foretaget kloning af menneskelige celler. Svindlen var gået helt hen over hovedet på peer reviewerne,« siger han.

Skepsis overfor nytænkning

Svindel slipper altså tit igennem peer review-processen. Til gengæld har hæderlige artikler, der præsenterer banebrydende nye teorier generelt svært ved at få bedømmernes accept.

»Peer review-processen er ikke særligt fleksibel i forhold til radikale innovationer og paradigmeskift. En nyere undersøgelse viser, at bedømmere finder metodiske mangler i 70 procent af de manuskripter, der går imod mainstream, sammenlignet med kun 25 procent af dem, der bekræfter gamle teorier,« siger Jesper Wiborg Schneider.

Graden af skepsis afhænger meget af, hvor anerkendt tidskriftet er.

De højtprofilerede tidsskrifter har en tendens til at afvise manuskripter, der præsenterer nye banebrydende teorier og idéer. De afviste artikler dukker senere op i lavere rangerende tidsskrifter, som er mere åbne og tolerante over for noget, der er lidt skævt.

»Mange af disse artikler fejler ikke noget, men har været grundlaget for priser, herunder Nobelpriser,« siger Jesper Wiborg Schneider.

Den skævvridning er ikke kun af det onde. For selv om forskernes artikler sjældent udkommer i det videnskabelige tidsskrift, som man først havde satset på, så ender det altså i langt de fleste tilfælde med, at artiklerne bliver publiceret.

Alle synspunkter ender altså i sidste ende med at komme frem.

»En sådan mangfoldighed er nødvendig og er i høj grad bundet op på, at peer review foregår decentralt på de enkelte tidsskrifter. Denne styrke bliver oftest overset af kritikerne. Mangfoldigheden og decentraliseringen opvejer mange af de svagheder, som peer review-systemet har. Det kan forklare, hvorfor man bliver ved med at holde fast i systemet,« slutter Jesper Wiborg Schneider.

Peer review er ikke bare et kvalitetsstempel men er også med til at gøre publikationen bedre.

Claus Emmeche