Forsker: Peer review er rent lotteri

Især én ting kan få selv de mest gemytlige forskere til at banke hovedet mod skrivebordet: fagfællebedømmelsen, også kaldet peer review. Ens månedlange undersøgelser må kondenseres til overskuelige artikler for dernæst at blive indsendt til et tidskrift og gemmetrawlet af 2-3 fagfæller.

Sammen med redaktørerne bestemmer fagfællebedømmerne, om ens resultater er værdige til publikation eller for uoriginale til tryk.

Med et mantra om at 'publish or perish' i forskermiljøet er det klart, at mailen fra tidsskriftet med dommen over ens værk åbnes med sitren i fingerspidserne og en knude i maven.

Ligesom enhver sømand må igennem ækvatordåben i løbet af sin karriere, så må ph.d.-studerende også igennem peer review-systemet. Det er selvfølgelig ikke helt det samme som at få hældt indvolde i håret og spise råddent fiskeaffald på en gyngende skonnert, men tæt på…

Der er allerede skrevet en del her på Videnskab.dk om selve peer review-systemets fordele og ulemper, blandt andet af min vejleder, Kristian Hvidtfelt Nielsen. Derfor vil jeg her nøjes med at dele mine erfaringer med systemet som ph.d.-studerende.

Peer review var en maveplasker

Halvvejs i min ph.d. indleverede jeg mit første udkast til en artikel til min vejleder og slynger kækt ud, at han bare kan indsætte ændringer gennem track-and-trace, og så regner jeg med at sende den ind til tidsskriftet inden månedens udgang. Min vejleder kigger forundret på mig.

»Track-and-trace? Øh nej, der er vi slet ikke nået til endnu!«

Halvandet års anstrengelser senere er artiklen udgivet, og mit hovmod fortrængt af ydmyghed.

Det første tidsskrift sagde ellers pænt nej tak. Eller det vil sige, afslaget lød sådan her: »I cannot escape the conclusion that this paper in its present form does not yield generalizable results. In its present form, it lacks a strong enough connection to theory and a sufficient empirical foundation.«

Hvis nogen skulle være i tvivl, så er det akademisk slang for, at studiet er noget skrammel.

Der er tre reviewere på, og her lærer jeg én af mine mange lektioner om systemet. Der er meget sjældent konsensus blandt reviewerne. Her er et par af deres kommentarer:

»This research does an excellent job of considering Danish science journalism practices in the context of international science journalism.«

»After reading the manuscript, I do not see what is novel or important about this research.«

Fagfællebedømmelse er rent lotteri

Jeg deler mine frustrationer over det uforudsigelige bedømmelsessystem med mine kollegaer, og så dukker alle anekdoterne op.

Én har fået afvist den samme artikel ved fem forskellige tidsskrifter for til sidst at få den udgivet. En anden fik en artikel afvist blank af redaktøren, der slet ikke ville sende den i review. En tredje bebudede, at hans nu mest citerede artikel fik så mange afslag, at han nær havde opgivet den.

Bedre venner med systemet bliver jeg ikke, da jeg falder over et par videnskabelige artikler, der viser, at enigheden blandt bedømmerne om, hvilke artikler der fortjener publikation, statistisk set er tilfældig.

Det er med andre ord rent lotteri, når man sender sin artikel ind, og idéen om, at fagfællebedømmelsen er et kvalitetstjek, er altså en illusion. Bedømmelserne svinger efter fagfællernes lune på samme måde, som filmanmeldere giver den nye Star Wars-film alt fra 2 til 6 stjerner. Det er smag og behag.

Tæt på at komme i stort tidsskrift - langt fra at komme i et lille

Når man får en artikel tilbage fra tidsskriftet, får man som regel én af tre mulige svar: Redaktøren accepterer den, afviser den eller beder en om at skrive den om og genindsende. Da jeg indsendte min næste artikel, blev den igen afvist af redaktøren med et:

»Unfortunately, the shortcomings of the paper are not of the type that can be overcome by a simple revision.«

Reviwerne derimod anbefalede hver deres dom. Én ville acceptere den, én anbefalede et afslag og den sidste foreslog, at jeg skrev den om. To ud af tre reviewere vil altså give den en chance, men det betyder ingenting, når redaktøren giver den dumpekarakter.

I et øjebliks sindsforvirring begyndte jeg at tænke logisk i systemet. En stor fejl. Jeg sendte først artiklen ind til at meget prestigefyldt tidsskrift, hvor den altså var tæt på at blive optaget. Jeg skrev den om efter bedømmernes anbefalinger og sendte den nu ind til et meget mindre anerkendt tidsskrift med kun to bedømmere.

Mit logiske rationale var, at hvis artiklen er tæt på at kvalificere sig til OL, så må den da i hvert fald være god nok til kommunemesterskaberne i det lavere rangerende tidsskrift.

Ak, hvor artiklen var lige ved og næsten i det prestigefyldte tidsskrift, så føltes det, som om det mindre prestigefyldte tidsskrift kører artiklen gennem en imaginær makulator. Nu er jeg ikke masochist, så jeg lader det svar lide en stille død i min inbox.

Peer review-systemet gavner ikke forskningen

Min ph.d.-afhandling består af fire artikler, og to af dem er udgivet:

• "From the preserves of the eudcated elite to virtually everywhere" i Public Understanding of Science
• "The science grapevine: influence of blog information on the online media coverage of the 2010 arsenic-based life study" i Journalism

Det er sådan gennemsnitligt, hvordan en artikelbaseret ph.d.-afhandling ser ud.

En ph.d. er en forskeruddannelse, og en del af den uddannelse består selvfølgelig i at lære at begå sig i peer review-systemet. Men jeg må indrømme, at jeg stadig har svært ved at se, hvordan systemet faktisk gavner forskningen.

Man lærer at tilfredsstille systemet og fokusere på at please reviewere og redaktører ved at mestre den akademiske skrivestil og den særlige skabelon for videnskabelige artikler. Man lærer, at det er mindre vigtigt, om ens resultater faktisk er forståelige og gennemskuelige for flest mulige.

Altså handler det slet ikke om at få sine resultater publiceret i ordets sande betydning, sådan at ens viden kommer samfundet til gavn. I stedet handler det om at demonstrere ens kunnen og derved pimpe CV’et. Det er ikke noget, jeg har fundet på – det var sådan, en professor udlagde det for mig, efter jeg fik mit første afslag.

Newton, Einstein og Bohr havde ingen peer review

Nogle gange virker det, som om forskere har glemt, at peer review-systemet ikke engang er 100 år gammelt. Hverken Newton, Einstein, Darwin eller Bohr havde fornøjelsen af systemet. Det er således ikke en fundamental del af forskningen, og når det nu beviseligt er så tilfældigt og trægt, hvorfor så opretholde det?

Måske er det den vigtigste lære som ph.d.-studerende: at peer review er et nødvendigt onde, men hvis domme man ikke skal lade ødelægge ens nattesøvn. For det system, vi tror vogter videnskabens troværdighed, er mest af alt en flaskehals, der trods alt holder antallet af årlige publikationer nede på omkring en million.

Det er samtidig en lære til videnskabsjournalister: Et peer review-stempel er IKKE et svanemærke eller lignende, der borger for høj kvalitet i en videnskabelig artikel. Man skal stadig bruge sin kritiske sans.