Peer review: Sådan foregår tidsskrifters kvalitetstjek

I skyggen af corona-pandemien er videnskabelige tidsskrifter og deres snørklede peer review-processer blevet en del af en højaktuel debat.

Befolkningen og beslutningstagere tørster efter viden og nye svar på den ukendte virus, og selvom forskerne pukler derudad, er den videnskabelige proces nogle gange blevet en bremseklods for ny forskning.

Det har et hold af danske forskere erfaret. Forskerne står bag et stort og enestående mundbinds-studie, men de holder deres resultater tæt ind til kroppen, indtil studiet er blevet blåstemplet af et videnskabeligt tidsskrift.

Tre af verdens absolutte top-tidsskrifter har imidlertid afvist at bringe studiet, hvilket fik Berlingske til at rydde sin forside og folk på sociale medier til at spekulere i censur og konspirationer.

Men i forskningsverdenen er det helt normalt, at det er svært at få publiceret nye studier i fine tidsskrifter.

Studierne skal nemlig først igennem tidsskrifternes kvalitetskontrol – kaldet peer review eller fagfællebedømmelse – og det kan være en omstændig og langvarig proces.

I artiklen her giver vi en pædagogisk forklaring på, hvordan det foregår.

\ Læs mere

»Dybt usædvanligt«: Amerikanske forskere advarer mod svagheder i dansk mundbindsstudie

\ Læs mere

Virker mundbind? Sådan bruger du evidenspyramiden til at finde svar

Protokol skal mindske snyd

Lad os sige, at du er forsker, og du har valgt at undersøge, om mundbind har en gavnlig effekt mod corona-smitten i samfundet.

Inden du overhovedet går i gang med din undersøgelse, vil du som oftest have skrevet en forskningsprotokol, hvor du forklarer, hvad du vil undersøge, og hvordan du vil gøre det.

Protokollen bruges til at sikre transparens og mindske snyd, forklarer Karsten Juhl Jørgensen, der er overlæge og forsker i forskningsmetoder, til Videnskab.dk:

»Det er for at undgå, at forskerne prøver at tilpasse deres analyse for at få det resultat, de gerne vil have,« uddyber overlægen, der også er konstitueret direktør for Det Nordiske Cochrane Center ved Rigshospitalet.

»Når forskerne har lavet deres forsøg, skriver de resultaterne sammen til et manuskript og sender det ind til et videnskabeligt tidsskrift,« tilføjer Karsten Juhl Jørgensen.

\ Læs mere

Sådan læser og forstår du en videnskabelig artikel

Mange manuskripter afvises før peer review

Så langt så godt. Det er her, når manuskriptet er landet på bordet (eller i indbakken) hos tidsskriftet, at peer review-processen sættes i gang. Hvis studiet da overhovedet når så langt.

»Vi får mellem 2.500 til 3.000 manuskripter om året, og halvdelen af dem afvises i døren, når vi screener dem, og kommer aldrig til peer review,« fortæller Peter Hokland, der er redaktør på det engelske tidsskrift British Journal of Haematology, som bringer forskning i blodsygdomme.

Det tager et par minutter at vurdere og screene, hvilke manuskripter der bliver sendt videre i systemet eller afvises med det samme, tilføjer Peter Hokland, der også er professor i blodsygdomme på Aarhus Universitet:

»Det kan være god forskning, der bare ikke er indenfor vores område, der afvises. Det kan også være, at det er helt ved siden af; at det er en stor artikel, der er skrevet på baggrund af to patienter. Eller det kan være, at den handler om en behandling, der er outdated,« siger redaktøren.

Peter Hokland fortæller også, at det i sidste ende er mellem 10 og 15 procent af alle de manuskripter, de får tilsendt, som de ender med at bringe i deres tidsskrift som artikler.

Derfor er det også helt normalt, at din forskning bliver afvist flere gange og flere steder, inden du endelig får publiceret dit studie i et videnskabeligt tidsskrift.

\ Læs mere

Sløset coronaforskning hypes af præsidenter

Forskere vil give en nyre for at komme i store tidsskrifter

Hos de mest prestigefyldte tidsskrifter i verden som Nature, Science, The New England Journal of Medicine, The Lancet og så videre er nøglehullet endnu mindre.

Science oplyser for eksempel, at de afviser 80 procent af alle manuskripter ved den indledende screening – altså inden peer review – mens de optager under 7 procent af alle tilsendte manuskripter.

Hos The Lancet og The New England Journal of Medicine optages 5 procent af alle tilsendte artikler, mens det hos Nature ligger på 8 procent.

Som Anton Pottegård, der er professor i klinisk farmakologi på Syddansk Universitet, sagde det i Videnskab.dk’s artikel, der handlede om, at et dansk mundbinds-studie var blevet afvist i tre toptidsskrifter:

»De fleste danske forskere vil give en nyre eller en arm for at komme i de her tidsskrifter.«

Karsten Juhl Jørgensen bekræfter, at der er flere mekanismer, der gør, at mange – i hvert fald de mest ambitiøse – forskere sigter efter, at få deres studier bragt i top-tidsskrifterne.

1. Velansete tidsskrift bliver læst mere og citeret mere, så dit arbejde får langt større opmærksomhed og konklusionerne større slagkraft i et af de tunge tidsskrifter.
2. Der er også nogle målemekanismer – som Den Bibliometriske Forskningsindikator (BFI) – der gør, at du får flere point som forsker, hvis dit studie kommer i et stort tidsskrift. Det kan have betydning for karrieren.
3. Det kan hjælpe dig som forsker i fremtiden, når du vil søge penge til et forskningsprojekt, hvis du har flere artikler i de store tidsskrifter.

»Til sidst er der den professionelle forfængelighed. Det er en fjer i hatten og noget, der giver respekt blandt kollegerne,« fortæller Karsten Juhl Jørgensen.

\ Læs mere

Peer review-processen fungerer, når millioner skal uddeles til forskningsprojekter

At finde de rette eksperter

Når eller hvis din forskning kommer gennem screeningen hos tidsskriftet og bliver sendt til peer review, er der dog heller ingen garantier for, at dit manuskript bliver bragt i tidsskriftet.

Alt efter emnet finder tidsskriftets redaktører et par relevante forskere – såkaldte fagfællebedømmere – der kan vurdere dit arbejde. Hvis dit studie handler om mundbind, finder de et par forskere, der er eksperter i infektionssygdomme og smittespredning.

»Min hovedredaktør og jeg finder ofte bedømmerne, men hvis vi ikke er eksperter på området, kontakter vi en associeret redaktør, som vi kender godt, der fungerer som bedømmer og hjælper med at finde de andre specialister,« forklarer Peter Hokland.

Der skal som regel mellem en til tre bedømmere til at lave et peer review.

\ Læs mere

Usikre hypoteser og falske eksperter: Videnskabskommunikation i corona-krisen

At lave et peer review

Når bedømmerne er valgt, får de tilsendt et anonymiseret manuskript, som de kaster sig over at læse så kritisk som muligt, og derefter giver de altså deres vurdering til tidsskriftets redaktører, der kan vælge at vende tommelfingeren op eller ned.

»Forskellige tidsskrifter har forskellige anvisninger på, hvordan et peer review skal laves. Nogle tidsskrifter har et skema med nogle bokse, der eksempelvis spørger, om sproget er i orden, om statistikken er i orden, om det er relevant for tidsskriftet, og så angiver man et svar på det og uddyber ellers sin kritik i en tekst,« forklarer Karsten Juhl Jørgensen og fortsætter:

»Det kan være, at man mener, at artiklen skal afvises, at nogle ting skal revideres eller rettes. Måske konkluderes der for stærkt, der kan mangle referencer til kendt forskning på feltet eller være problemer med måden, forskningen er præsenteret på,« tilføjer han.

Som med en eksamensopgave kan din forskning altså dumpes helt, selvom den faktisk er nået til bedømmelsen, eller den kan godtages med bravour eller nød og næppe.

»Hos de meget høje og store tidsskrifter bliver et manuskript afvist, hvis der er den mindste anke hos bedømmeren. Hos os (på British Journal of Haematology, red.) accepterer vi én anke, hvis den ikke er for stor, men hvis der er flere, afviser vi også,« forklarer Peter Hokland.

Bedømmeren har ikke altid ret

Hvis dit flotte arbejde afvises af tidsskriftet, behøver du dog ikke at kaste håndklædet i ringen med det samme.

»Det kommer jo helt an på, hvilken feedback man får,« påpeger Karsten Juhl Jørgensen.

Hvis du får at vide, at tidsskriftet ikke mener, at manuskriptet ligger indenfor deres fagområde, så bør du nok overveje, om du har søgt det rette tidsskrift. Hvis dit manuskript til gengæld afvises efter en faglig kritik, som du ikke er enig i, så er det heller ikke game-over:

»Man kan sagtens klage og gå imod peer review, hvis man ikke er enig. Bedømmerne har ikke altid ret, og kan man argumentere for sin sag, så kan man godt overbevise tidsskriftet om at bringe artiklen alligevel. Det er helt normalt,« siger Karsten Juhl Jørgensen.

Peer reviews skal sikre kvalitet og luge ud i fejl

Forskere er mennesker, der kan lave fejl som alle os andre, og redaktørerne for de forskellige tidsskrifter er ikke eksperter i det hele. Derfor er peer review-processen et vigtigt værktøj, pointerer Karsten Juhl Jørgensen:

»Meningen er, at processen fanger og luger ud i fejl. Der er nogle helt almenmenneskelige mekanismer i det. Man holder meget af sine egne børn og kan have en tendens til at lægge for stor vægt på egne resultater. Det kan føre til for stærke konklusioner.«

»Peer review medvirker til at modvirke dette, og til at redaktørerne og tidsskrifterne ikke bringer forskning, der fortrinsvis underbygger deres egen mening. Og så hjælper det redaktørerne med at træffe mere kvalificerede valg,« siger han og fortsætter:

»Derudover kan du også blive en bedre forsker af at få kritik gennem et peer review. Jeg har fået nogle fantastisk hjælpsomme peer reviews gennem min karriere, der klart har forbedret kvaliteten af mit manuskript.«

\ Læs mere

Sådan kan vi forbedre peer review-processen

Men peer reviews er ikke perfekte

På trods af peer reviews bringes dårlig og nogle gange direkte fejlagtig forskning i tidsskrifterne. Også i de helt store tidsskrifter.

Under corona-krisen var vi vidner til en fuldstændig absurd sag, hvor The Lancet havde bragt et fup-studie, der undersøgte malariamidlet hydroxyklorokins virkning på COVID-19-patienter.

Her viste det sig, at virksomheden, der havde forsynet studiet med patientdata, var et lille firma med 11 medarbejdere, hvoraf to af dem lader til også at arbejde som pornomodel og science fiction-forfatter. En tredje døde i 2018.

»Den sag var en skandale, og manuskriptet burde jo være afvist i peer review-processen,« lyder det fra Karsten Juhl Jørgensen, »men det er klart, at det ikke er sikkert, at man finder det hele. Peer reviews er ikke perfekte, og vi får aldrig en garanti for, at den videnskab, der publiceres, holder på alle leder og kanter.«

Én af de ting, der kan være svære at gennemskue som bedømmer, er eksempelvis rigtigheden i den information og data der præsenteres i manuskriptet, og det kan gøre det svært at gennemskue forskere, der helt overlagt laver svindel-studier.

»Det kan være svært at gardere sig mod, når Penkowa eksempelvis skriver, at hun har lavet forsøg med 1.000 rotter, og der så var meget, meget færre. Som udgangspunkt stoler man jo på, at det, som forskeren skriver, faktisk er sandt,« fortæller Peter Hokland.

Videnskab.dk følger op med en historie, der går i kødet på faldgruber og svagheder ved peer review-processen. Læs den her: Er tiden løbet fra de videnskabelige tidsskrifter og deres peer review-processer?

\ Læs mere

Forsker: Peer review er rent lotteri

\ Læs mere

Fupstudie vil kritisere ‘akademisk postmodernisme’ – men går helt galt i byen

\ Læs mere

Hvad er kildekritik? Og hvorfor er det vigtigt?