Forskerne opfandt et spil til at måle forskellen mellem åben og lukket Peer Review. (Foto: Colourbox).

Fagfællevurdering, også kaldet ’Peer Review’, er en uundværlig del af moderne videnskab.

Denne kvalitetssikringsproces går ud på at andre forskere fra samme fagområde vurderer om kvaliteten på en forskningsrapport er god nok til at blive publiceret i et videnskabeligt tidsskrift.

Både Peer Review og publicering er af stor betydning for, om forskerne kan få flere midler til forskning.

Men hvor godt fungerer dette system?

Utroligt nok er der kun forsket lidt i fagfællevurderinger. Systemet har også i de senere år måtte tage en del kritik. Og for nyligt testede forskere fra Johns Hopkins Bloomberg School of Public Health, hvordan mere åbenhed kan påvirke processerne.

Konklusionen udfordrer dagens system med anonyme bedømmere. Når det er kendt, hvem der vurderer forskningen, bliver samarbejdet mellem forskere og bedømmere ofte bedre, og dette reducerer risikoen for fejl, mener teamet.

Spil til forskere, som testede de forskellige vurderingssystemer

Som udgangspunkt er bedømmere af forskningsrapporter anonyme for, at ingen skal kunne presse eller bestikke dem. Anonymiteten er også til, for at de forskellige bedømmere af en rapport ikke skal kunne aftale resultatet mellem hinanden.

Jeffrey Leek og hans kolleger har udviklet en teoretisk model og et spil for netop at teste netop, hvordan forskellige systemer påvirker forskernes og bedømmernes opførsel.

Spillet var en efterligning af forsknings- og Peer Review-processen, hvor deltagerne enten kunne vælge at foreslå løsninger på problemer eller melde sig til at bedømme andres forslag.

Som tilføjelse kunne spillerne også blive pålagt at være bedømmere for nogle af forslagene. I slutningen af omgangen fik de to deltagere med flest accepterede løsningsforslag en belønning.

For at forsøget skulle ligne virkeligheden mest muligt, var det studenter og forskere ved seks forskellige forskningslaboratorier ved Johns Hopkins Universitet, som fik til opgave at spille spillet.

Forskellen på åben og lukket bedømmelse

Spillet kunne spilles i både en åben og en lukket version. I sidstnævnte var bedømmerne anonyme. Den eneste information, som var tilgængelig, var hvor mange forslag deltagerne havde fået accepteret tidligere.

I de åbne omgange vidste spillerne, hvilke bedømmere der havde godkendt og forkastet alle deres forslag.

Og nu konkluderer Jeffrey Leek og hans kolleger altså, at et åbent system kan give flere rigtige bedømmelser.

Det viste sig, at spillerne som valgte at vurdere andres forslag, blev belønnet for dette. Sandsynligheden for at deres egne forslag blev godkendt blev lidt forhøjet for hver gang de accepterede andre deltageres løsninger.

Dermed skulle man måske tro, at dette førte til, at flere værdiløse forslag blev godkendt. Men effekten var den stik modsatte, mener Jeffrey Leek.

Det viste sig, at åbenheden oftere førte til samarbejde mellem forskerne, som kom med forslag og de som bedømte dem.

»Vi fandt ud af at spillere, som befandt sig i samarbejdende par havde højere præcision i deres bedømmelser end spillere som ikke samarbejdede i par,« skriver Jeffrey Leek i en email til forskning.no.

»Vores resultater antyder, at samarbejde i Peer Review-processen kan føre til en reduceret risiko for fejlbedømmelse.«

© forskning.no Oversættelse: Julie M. Ingemansson