Når forskere har undersøgt et emne, beskriver de, hvad de har gjort og fundet frem til i et manuskript.
Manuskriptet sender forskerne til et tidsskrift for at få det publiceret, så hele det videnskabelige samfund (og i nogle tilfælde offentligheden) kan læse om arbejdet i en videnskabelig artikel.
Men før det når dertil, skal andre forskere med forstand på emnet gennemgå manuskriptet med kritiske briller. De ser blandt andet på:
- Er statistikken i orden?
- Kommer forskerne grundigt og præcist rundt om emnet?
- Er det sproglige helt på plads?
- Har forskerne husket at tage al relevant forskning med i betragtning (lavet de rette referencer)?
Det er den proces, der kaldes peer review. På dansk: fagfællebedømmelse.
\ Mange manuskripter afvises i døren
Det er langt fra sikkert, at forskernes videnskabelige artikel – også kaldet manuskriptet – overhovedet ender i peer review hos det tidsskrift, det er sendt til.
Mange manuskripter bliver afvist efter en hurtig screening, der afslører, om et studie gør for meget ud af for lidt – for eksempel har for store konklusioner på baggrund af et lille materiale – eller om det falder uden for tidsskriftets ramme eller måske handler om en behandling, man ikke længere bruger.
Tidsskriftet Science oplyser, at de afviser 80 procent af alle manuskripter ved den indledende screening og ender med at optage under 7 procent af alle tilsendte manuskripter.
Tidsskriftet Nature optager 8 procent, mens The Lancet og The New England Journal of Medicine optager 5 procent af alle tilsendte manuskripter.
Bliver man afvist af det tidsskrift, man helst vil i, må man prøve lykken hos andre tidsskrifter, indtil det lykkes at komme igennem.
Fagfællerne læser en anonymiseret version af manuskriptet og sender deres kommentarer tilbage redaktøren af tidsskriftet. Kommentarerne kan – i anonymiseret form – blive sendt ud til forfatterne, som svarer tilbage.
Redaktøren tager derefter stilling til, om tidsskriftet vender tommelfingeren op eller ned til at publicere studiet.
Én stor fejl er nok til at forkaste manuskriptet
Professor Peter Hokland fra Aarhus Universitet er redaktør af tidsskriftet British Journal of Haematology.
Han fortæller i en artikel på Videnskab.dk, at de største tidsskrifter afviser et manuskript, hvis der er blot en enkelt fejl.
På mindre tidsskrifter kan tolerancen være en smule større. Men kun en smule.
»Hos os accepterer vi én anke, hvis den ikke er for stor, men hvis der er flere, afviser vi også,« forklarer Peter Hokland i artiklen Peer review: Sådan foregår tidsskrifters kvalitetstjek.
Hvis et manuskript bliver afvist, kan forskeren eller forskerne bag vælge to trin:
- Man kan forsøge at overbevise tidsskriftet om, at bedømmerne har taget fejl og fortælle, hvorfor manuskriptet alligevel bør antages. Det kan ske, at tidsskriftet bøjer sig for gode argumenter.
- Man kan søge videre til andre tidsskrifter.
Fuptidsskrifter kan blive endestationen
Generelt vil forskere helst i de fineste tidsskrifter af flere årsager, som du kan læse om i faktaboksen.
\ Forskere vil helst i fine tidsskrifter
En forsker vil typisk stile efter at blive publiceret i så fint et tidsskrift som muligt.
Fint betyder i denne forbindelse, at det har et godt omdømme, at det bliver læst og citeret af mange andre forskere, og at man bliver belønnet stat eller universitet, hvis man udkommer der.
»De fleste danske forskere vil give en nyre eller en arm for at komme i de her tidsskrifter,« er det blevet bemærket af Anton Pottegård, professor i klinisk farmakologi på Syddansk Universitet, i en artikel på Videnskab.dk.
Inden for naturvidenskab bliver klassiske tidsskrifter som Science og Nature tit fremhævet. Hvis du som forsker publicerer sådan nogle steder, kan det hjælpe dig, når du vil søge penge til andre forskningsprojekter.
Endelig er der også noget personlig tilfredsstillelse ved at få sin forskning ud gennem de fineste kanaler.
»Det er en fjer i hatten og noget, der giver respekt blandt kollegerne,« fortæller Karsten Juhl Jørgensen, professor ved Cochrane Danmark og Center for Evidensbaseret Medicin i Odense, i en anden artikel på Videnskab.dk.
Kan det ikke lade sig gøre at udkomme i det tidsskrift, man havde tænkt sig, kan man søge nedad på rangstigen og udkomme i andre tidsskrifter, som typisk nyder lidt mindre opmærksomhed i det videnskabelige samfund.
I værste fald kan man dog også komme til at søge så langt nedad, at man ender med at publicere i et såkaldt fuptidsskrift.
Et fuptidsskrift tager som regel penge for at publicere manuskripter og praler af at have peer review i processen – men fagfællebedømmelsen har enten store mangler eller er i virkeligheden sparet helt væk.
Et stort pres på forskerne for at publicere så meget af deres forskning som muligt har fået flere til uforvarende at publicere i fuptidsskrifter. Det kan du læse mere om i artiklen Danske forskere udgiver i fuptidsskrifter: Publiceringspres får skylden.
En god tommelfingerregel i forhold til peer review er, at jo finere tidsskriftet er, des bedre vil peer review-processen være. Fine tidsskrifter tiltrækker som udgangspunkt både god forskning og gode reviewere.
Peer review sænker risiko for fejl
Peer review er i udgangspunktet med til at sikre, at forskningen holder sig inden for skiven, så man sænker risikoen for at sprede alt for mange påstande, der ikke er hold i.
Senest har corona-pandemien bragt en del eksempler på budskaber, der blev pumpet stort op på baggrund af endnu ikke publicerede studier, som måske ville have fået tæsk i peer review. Det kan du læse mere om i andre artikler på Videnskab.dk (se for eksempel 1, 2, 3).
Når det er sagt, betyder det langt fra, at du kan stole blindt på, at peer review er det samme som en garanti for, at du kan stole på alt, der står i et studie.
Peer review har gennem årene fået skarp kritik fra forskere for at være både for dårligt og upålideligt.
Ét er, at videnskabelige artikler senere kan vise sig at være fulde af fejl, fordi forskerne bag har fordrejet oplysninger i deres manuskript. Det mest kendte eksempel herhjemme er nok sagen om Milena Penkowa, der blandt andet opfandt rotteforsøg, der aldrig var udført.
Noget andet er, at peer reviewet i sig selv afhænger af, hvem der læser manuskriptet igennem.
Kras kritik: Fagfællebedømmelse er »rent lotteri«
Ph.d.-studerende Gunver Lystbæk Vestergård rasede allerede for år tilbage i en artikel på Videnskab.dk mod peer review, som, hun mener, er rent lotteri.
Enigheden blandt bedømmere om, hvilke manuskripter der bør slippe igennem til udgivelse i tidsskrifter, er statistisk set tilfældig, lød det:
»Idéen om, at fagfællebedømmelsen er et kvalitetstjek, er altså en illusion. Bedømmelserne svinger efter fagfællernes lune, på samme måde som filmanmeldere giver den nye Star Wars-film alt fra 2 til 6 stjerner. Det er smag og behag,« skrev hun i 2016.
Gunver Lystbæk Vestergård står langt fra alene med sin kritik af peer review-systemet.
I artiklen Peer review: Forskningens kvalitetsstempel har ridser i lakken opridser danske forskere fire kritikpunkter:
- Bedømmelserne er langt fra objektive, men er styret af bedømmernes personlige holdninger og faglige kæpheste
- Tidsskrifterne er skeptiske over for nye banebrydende teorier og hylder i stedet det kendte
- Redaktører og bedømmere mangler et overblik over, hvad der tidligere er blevet publiceret og har derfor både svært ved at vurdere, om et forskningsresultat nu også virkelig er nyt
- Systemet er dårligt rustet til at afsløre svindel
Du kan se flere kritikpunkter i boksen i bunden af denne artikel.
Alternativer til klassisk peer review
Flere forskere har luftet tanken om, at tiden er inde til at justere den klassiske og tit årelange vej til publicering gennem indspist og lukket peer review i de etablerede tidsskrifter.
Enten kunne peer review foregå i fuld åbenhed, hvor tidsskriftet hurtigt lagde manuskript og kommentarer frem, så andre forskere og offentligheden kunne debattere indholdet.
Det foreslår danske forskere i artiklen Er tiden løbet fra de videnskabelige tidsskrifter og deres peer review-processer?
En anden overvejelse lyder, at forskere kunne gå helt uden om tidsskrifterne og lægge deres manuskript direkte ud på nettet i såkaldt preprint.
Det kunne få forskningen langt hurtigere ud til både kolleger og offentlighed; en manøvre, der blev ivrigt benyttet under corona-pandemien, hvor det var afgørende at få ny viden ud så hurtigt som muligt.
»Hvis et studie er kommet med stærke påstande, men er dårligt, skal det nok blive kritiseret, og hvis det er godt, skal det nok få et liv. Vi skal simpelthen stole mere på det videnskabelige samfund,« lyder det fra professor Jesper Schneider i artiklen: 'Er tiden løbet fra de videnskabelige tidsskrifter og deres peer review-processer?'
Jesper Wiborg Schneider er professor på Dansk Center for Forskningsanalyse ved Aarhus Universitet. I artiklen kalder han den klassiske peer review for et levn fra en svunden tid, hvor det var nødvendigt at udkomme i trykt form og printe sider fra fysiske eksemplarer af tidsskrifterne.
Peer review: Den mindste ringe ordning?
Modargumentet ligger ligefor: Selvom peer review ikke er perfekt, mindsker den dog generelt risikoen for, at studier med skæve konklusioner eller fejlagtigt indhold bliver opfanget af begejstrede læsere, som uden den store kritik spreder budskaberne på for eksempel sociale medier.
Du kan læse nogle argumenter for det synspunkt i artiklen Lancet-redaktør: »En løgn kan nå verden rundt på få timer«.
En norsk forsker har foreslået en tredje vej, der måske kunne behage begge sider:
Alle forskere og universiteter går med i et nyt center med en slags online-community, hvor man lægger sine nye manuskripter op og får dem ratet (bedømt) af interesserede kolleger fra hele verden.
Ordningen skal ifølge oplægget eksistere sideløbende med normal peer review og blandt andet have den fordel, at forskere får adgang til al forskning. I dag er meget gemt bag betalingsmure hos tidsskrifter, som især universiteter betaler i dyre domme for at få adgang til.
Med den nye ordning ville forskere kunne søge gratis i al forskningslitteratur efter kriterier som for eksempel højeste antal point og meget andet, skriver den norske forsker i artiklen Sådan kan vi forbedre peer review-processen.
\ 7 kritikpunkter rettet mod peer review
Det britiske-hollandske forlag Elsevier har lavet en liste over nogle af faldgruberne ved peer review.
Udbredte kritikpunkter lyder:
- Peer review er intet værn mod overlagt snyd. Fifler man med data eller virkeligheden, kan det ofte være svært at fange i et peer review.
- Peer review risikere at opretholde en biased, selektiv og konservativ prioritering af forskningen, der udgives. Det gør det svært at udkomme med banebrydende ny forskning.
- Mange såkaldte fup-tidsskrifter udnytter peer review som kvalitetsstempel. De udgiver hvad som helst for et mindre beløb, og derfor er det altså heller ingen garanti længere, at et studie har været igennem peer review.
- Det er svært at finde gode fagfællebedømmere, da der hverken er penge eller meritter i at lave et peer review. Den eneste gulerod ved at være bedømmer er at ville bidrage til videnskaben og følge med i litteraturen.
- Der findes eksempler på, at bedømmerne er biased mod køn, nationaliteter, etnicitet med mere.
- Der findes eksemplar på citerings-manipulation, hvor redaktørerne eller bedømmerne presser på for at få deres eget tidsskrift eller egne studier citeret i studiet, som de bedømmer.
- Peer review er en langsommelig proces, og det er kritisk, hvis et vigtigt studie - særligt indenfor sundhed eller medicin - lader vente på sig.
Læs mere i artiklen Er tiden løbet fra de videnskabelige tidsskrifter og deres peer review-processer?
