Er tiden løbet fra de videnskabelige tidsskrifter og deres peer review-processer?
Det er sagen om et dansk mundbind-studie et eksempel på, mener flere danske forskere, der støtter en åben peer review-proces.
Peer review videnskabelige tidsskrifter kritik mundbind corona

Den videnskabelige proces, som vi kender den, er til debat under corona-krisen. Sagen om et dansk mundbinds-studie er et skoleeksempel på, at tiden er løbet fra tidsskrifterne, mener forskningschef på Syddansk Universitetsbibliotek. (Foto: Shutterstock)

Den videnskabelige proces, som vi kender den, er til debat under corona-krisen. Sagen om et dansk mundbinds-studie er et skoleeksempel på, at tiden er løbet fra tidsskrifterne, mener forskningschef på Syddansk Universitetsbibliotek. (Foto: Shutterstock)

Græsk-amerikanske John Ioannidis er kendt som en forsker, der kan få sine videnskabelige kolleger til at ryste i bukserne.

Gennem en årrække har Stanford-professoren - som en anden videnskabsdetektiv - tilbagevist det ene publicerede forskningsresultat efter det andet.

»Det kan bevises, at de fleste påståede forskningsresultater er usande,« skrev han i sin artikel ‘Why Most Published Research Findings Are False’ fra 2005, der er notorisk kendt som en af de mest citerede videnskabelige artikler overhovedet.

Men nu - under corona-krisen - har John Ioannidis smagt lidt af sin egen medicin. Tidligt i pandemien turede professoren frem med forskning, der kritiserede de globale nedlukninger og nedtonede virussens farlighed. Studiet blev siden haglet ned af fagfæller. John Ioannidis' forskning blev tilbagevist.

Som så mange andre corona-studier lagde John Ioannidis sit studie op som en preprint-artikel, der ikke har været igennem tidsskrifternes snørklede kvalitetskontrol - det såkaldte peer review. 

Og pointen? Den kommer Jesper Wiborg Schneider, professor på Dansk Center for Forskningsanalyse ved Aarhus Universitet, med her:

»Ioannidis-studiet vidner om, at den videnskabelige kontrol, som vi altid forbinder med tidsskrifternes peer review, også finder sted, når forskningen lægges op i preprint udenom tidsskrifterne,« siger han til Videnskab.dk.

»Studiet blev samlet op og kritiseret. Og det var ikke bare Twitter-pjat. Det var statistikere og relevante forskere, der gennemgik det på kryds og tværs og påpegede nogle forhold, der var virkelig problematiske,« uddyber Jesper Wiborg Schneider.

Om preprint

Preprint-servere er til for, at forskere kan give hinanden feedback på studier, inden de sender dem ind til videnskabelige tidsskrifter i håb om at få dem publiceret. 

Ulempen er, at de upublicerede studier ligger frit tilgængeligt og kan blive misbrugt eller misforstået af folk, som ikke ved, at forskningsresultater skal igennem en peer review proces, før man kan tage dem for gode varer.

Uden peer review er der risiko for, at et studie har fejl, mangler, overdrevne konklusioner, og at forskerne har interessekonflikter.  

Læs om, hvordan du kan spotte, om lægevidenskabelig forskning er troværdig, i Videnskab.dk's manifest

Er tiden løbet fra peer review?

For Jesper Wiborg Schneider er det endnu et eksempel på, at tiden er løbet fra den snørklede og anonymiserede videnskabelige proces, hvor forskere sender et studie til et tidsskrift, der finder bedømmere, der kritiserer studiet og sender det til forskeren, der så retter til: 

»Det er et levn fra tiden, hvor man skulle printe tingene og komme ud i trykt form. Hvis et studie er kommet med stærke påstande, men er dårligt, skal det nok blive kritiseret, og hvis det er godt, skal det nok få et liv. Vi skal simpelthen stole mere på det videnskabelige samfund,« lyder det fra professoren.

Forskningen under corona-krisen er blevet omtalt som en global og fælles ‘science in the making’-erfaring; en oplevelse af at se til og følge med fra første parket, mens forskerne pumper derudad: Studier, papers, kritik, debat. 

Mange forskere har udgivet deres studier i preprints, og samtidig har flere tidsskrifter fremskyndet deres publikationsproces, så corona-studier udkommer med en hidtil uset hast, hvilket ikke har givet dårligere forskning, hævder Jesper Wiborg Schneider. 

Disse erfaringer har gjort den videnskabelige proces (og dens mangler) tydeligere for mange flere: de videnskabelige tidsskrifter og deres peer review-system er blevet testet, debatteret og kritiseret som aldrig før. 

»Vil pandemien ændre de videnskabelige processer for altid?« spørger Nature i en artikel, der er en del af en serie, som undersøger, hvordan videnskaben vil se ud efter pandemien.

»Har peer review stadig sin berettigelse i COVID-19-æraen?« spurgte den amerikanske hjertelæge, Milton Packer, i et indlæg hos lægemediet MedPage Today allerede i maj. Hans konklusion var et klart ‘nej’.

Omvendt lød det i en leder i tidsskrifter The Lancet, hvor det blev fremhævet, at corona-krisen netop har vist, at peer review er et »fuldstændigt essentielt redskab for videnskaben«.

Peer review-processen indebærer kort sagt, at fagfæller kritiserer og bedømmer forskernes manuskript for at luge ud i fejl, før det eventuelt bliver godkendt og publiceret i det videnskabelige tidsskrift. (Grafik: Ditte Holst Svane-Knudsen)

Dansk mundbind-sag er et skoleeksempel

I skrivende stund er vi vidner til en sag, hvor danske forskere holder på resultaterne fra et stort og omfattende mundbind-studie, fordi de venter på at få det vurderet og bragt i et videnskabeligt tidsskrift.

Forskerne bag har sagt til BT, at det er »det suverænt bedste studie, man overhovedet kan lave af den her slags«. 

Men hvis studiet er det bedste og fortæller afgørende nyt om mundbind, bør forskerne lægge resultaterne frem i et preprint, så vi alle kan forholde os (kritisk) til dem, lyder kritikken fra et hav af forskere. 

Heriblandt professor i forskningsformidling Charlotte Wien. Ifølge hende er mundbind-sagen »skoleeksemplet på«, hvad der er i vejen med tidsskrifternes peer review-system i dag: 

»Forskere vil gerne have det udgivet, men på en måde, hvor der ikke er en finger at sætte på det,« siger professoren, der også forskningschef på Syddansk Universitetsbibliotek, og fortsætter:

»Men i den situation, vi er i nu, er vi nødt til at have væsentlig forskning tilgængelig. Jeg forstår ikke, hvorfor de ikke bare overgiver sig og sender det i preprint. Og så tager vi simpelthen diskussionen derfra.«

»Grotesk, at peer review er så hemmeligt«

Egentlig er kritikken af peer review en klagesang, der er lige så gammel som selve systemet, der blev udbredt i 1960’erne og -70’erne. Og der er sandsynligvis ingen videnskabsfolk, der ikke vil medgive, at peer review har visse svagheder (se faktaboksen).

Kritik af peer review

Det britiske-hollandske forlag Elsevier har lavet en udmærket liste på nogle af faldgruberne ved peer review. Her kommer en samling af de mere udbredte kritikpunkter:

  • Peer review er intet værn mod overlagt snyd. Fifler man med data eller virkeligheden, kan det ofte være svært at fange i et peer review. 
  • Peer review risikere at opretholde en biased, selektiv og konservativ prioritering af forskningen, der udgives. Det gør det svært at udkomme med banebrydende ny forskning.
  • Mange såkaldte fup-tidsskrifter udnytter peer review som kvalitetsstempel. De udgiver hvad som helst for et mindre beløb, og derfor er det altså heller ingen garanti længere, at et studie har været i peer review. 
  • Det er svært at finde gode fagfællebedømmere, da der hverken er penge eller meritter i at lave et peer review. Den eneste gulerod ved at være bedømmer er at ville bidrage til videnskaben og følge med i litteraturen. 
  • Der findes eksempler på, at bedømmerne er biased mod køn, nationaliteter, etnicitet med mere. 
  • Der findes eksemplar på citerings-manipulation, hvor redaktørerne eller bedømmerne presser på for at få deres eget tidsskrift eller egne studier citeret i studiet, som de bedømmer. 
  • Peer review er en langsommelig proces, og det er kritisk, hvis et vigtigt studie - særligt indenfor sundhed eller medicin - lader vente på sig. 

Man kunne altså skrive en lang afhandling om problemerne med peer review, men for Charlotte Wien er det altoverskyggende problem den manglende gennemsigtighed, som vi lige nu ser i sagen med det danske mundbind-studie. 

»Det helt groteske ved peer review i dag er, at det er så hemmeligt. Vi kræver transparens i alle mulige dele af den videnskabelige verden, men lige præcis den her proces er fuldstændigt mørklagt, og den videnskabelige dialog bliver hæmmet af det,« lyder kritikken fra Charlotte Wien. 

Fagfællebedømmerne, der laver peer reviews, er oftest anonyme, og deres kritik af et givent studie bliver aldrig lagt frem, når artiklen endelig udgives i et tidsskrift.

Meningen med anonymiteten er blandt andet, at den beskytter bedømmerne og fremtvinger en form for neutralitet, så det er bolden og ikke manden, der tackles. Men det argument giver Charlotte Wien ikke meget for:

»Jeg har været i den her business i mange og har hørt alle argumenter for, at peer review skal beskyttes. Problemet er, at du antager, at forskere ikke er professionelle mennesker. Som forsker skal vi kunne give og tage en kritik upfront, selvfølgelig skal vi da det.«  

»Ønsker om eksklusivitet bremser for åbenhed«

»Der er slet ingen tvivl om, at man kunne gøre mange ting anderledes, der går hen imod mere transparens og åbenhed i forskningsprocessen,« lyder det fra Jesper Wiborg Schneider, der er helt enig i Charlotte Wiens kritik.

Ifølge ham vokser problemet blandt andet ud af, at vi overvurderer den rolle, som de store og "fine" tidsskrifter som Science, Nature, The Lancet og The New England Journal of Medicine, der i medierne ofte omtales som ‘velansete’ eller ‘højt estimerede’, bør spille. 

Den slags tidsskrifter når langt ud til mange mennesker, bliver oftere citeret af andre forskere, og det betragtes generelt som en kæmpe - og for nogle karriere-ændrende - bedrift at udkomme i dem. Men de store tidsskrifter er ingen garant for god forskning:

»Det her med, at en høj afvisningsrate fra et tidsskrift (hvor mange procent af de tilbudte studier, som tidsskrifterne afviser, red.) giver cremen af cremen holder ikke. Det er ikke en fejlfri proces. Sådanne tidskrifter vil gerne publicere sensationsstudier og gør det på bekostning af kvaliteten, så der er også bias og faldgruber hos dem,« siger Jesper Wiborg Schneider.

Det største problem ligger dog ifølge Jesper Wiborg Schneider ikke i, at tidsskrifterne ikke er fejlfri - det er forskningen nemlig aldrig - men i de store tidsskrifters eksklusivitet:  

»Tidsskrifterne ønsker at være eksklusive. Forskning handler om konkurrence, og hvor du publicerer betyder meget. Men den slags mekanismer står i vejen for åbenhed,« siger han og nævner den såkaldte 'Ingelfinger-regel' som et eksempel.

Ingelfinger-reglen blev indført hos The New England Journal of Medicine (NEJM) i 1969 af tidsskriftets daværende redaktør, Franz J. Ingelfinger. Reglen går i al sin enkelthed ud på, at NEJM ikke vil bringe studier, der på nogen måde er omtalt eller bragt i andre tidsskrifter eller medier.

Det er lige præcis den regel, der er udbredt i alle de store medicinske tidsskrifter, som det danske mundbind-studie sandsynligvis også ”lider” under i øjeblikket, påpeger Jesper Wiborg Schneider.

»Men man behøver jo ikke ligge under for publiceringsræset. Det står jo en frit for at fremlægge ens resultater, som i tilfældet med Ioannidis,« tilføjer han.

Derfor søger forskere mod finere tidsskrifter

Karsten Juhl Jørgensen, der er overlæge og forsker i forskningsmetoder, har i en artikel på Videnskab.dk fortalt, at der er flere mekanismer, der gør, at mange - i hvert fald de mest ambitiøse - forskere sigter efter, at få deres studier bragt i top-tidsskrifterne:

  1. Velansete tidsskrift bliver læst mere og citeret mere, så forskernes arbejde får langt større opmærksomhed, og konklusionerne større slagkraft i et af de tunge tidsskrifter.
  2. Der er også nogle målemekanismer - som Den Bibliometriske Forskningsindikator (BFI) - der gør, at du får flere point som forsker, hvis dit studie kommer i et stort tidsskrift. Det kan have betydning for karrieren. 
  3. Det kan hjælpe dig som forsker i fremtiden, når du vil søge penge til et forskningsprojekt, hvis du har flere artikler i de store tidsskrifter.

Overlæge: Der findes ikke bedre alternativer

Man kan hurtigt få fornemmelsen af, at platformen brænder under peer review-systemet i dag, men det er ikke alle forskere, der er enige i den vurdering.

Der laves dårlige peer reviews, og der udgives forskning med fejl. Det kan vi ikke lave om på, lyder det fra overlæge og forsker i forskningsmetoder Karsten Juhl Jørgensen:

»Der er ingen garantier i forskningen, og der er klare svagheder ved peer review, men der er ikke et bedre system. Det er et system, der har bestået i mange år, og der er ikke rigtig nogen, der er kommet med et bedre alternativ,« forsvarer overlægen, der også er konstitueret direktør for Det Nordiske Cochrane Center ved Rigshospitalet. 

Karsten Juhl Jørgensen er også tilhænger af, at forskere udgiver i preprint og lægger deres arbejde frem til diskussion, hvis resultaterne er for vigtige til, at de kan lade vente på sig:

»Men det er jo altid en individuel afvejning, om ens arbejde er vigtigt nok til, om man kan vente eller ej. Og der er ikke noget rigtigt eller forkert svar på, hvornår man skal gøre det eller lade være. Det kan være en rigtig svær vurdering for forskerne,« forklarer Karsten Juhl Jørgensen.

Han bakkes op af Peter Hokland, der er redaktør på det engelske tidsskrift British Journal of Haematology, som bringer forskning i blodsygdomme.

»Hvis det danske mundbind-studie er ekstremt vigtigt, så skal det da ud i et preprint nu. Men jeg kan ikke se, at den sag udstiller tidsskrifterne eller peer review-processen, som den er i dag,« lyder det fra Peter Hokland, der også er professor i blodsygdomme på Aarhus Universitet.

»Jeg er ikke i tvivl om, at hvis NEJM havde fundet mundbind-studiet interessant, så havde de også fået det bedømt og publiceret ekstremt hurtigt,« tilføjer redaktøren, der har skrevet en kommentar til Videnskab.dk’s Forskerzonen, hvor han advarer mod, at corona-pandemien har ført til en forringet kvalitet i forskningen.

»Derudover kan jeg slet ikke genkende, at systemet skulle være lukket. Det har for mig at se en uheldig klang. Der er mange steder i samfundet, hvor man får anonyme bedømmelser. Det gør man også, når man søger om forskningsmidler,« påpeger Peter Hokland.

Åbne reviews kan være vejen frem

Jesper Wiborg Schneider og Charlotte Wien er dog ikke i tvivl om, at det nuværende peer review-system har brug for en reformation.

Det betyder ikke, at vi bør lukke tidsskrifterne og lægge alt op i et anarkistisk preprint-system. De taler begge i stedet for idéen om en såkaldt åben peer review-proces: 

»Ideelt set ville det fungere sådan, at forskerne sender deres studie til tidsskriftet, hvor en redaktør så kigger på det og enten afviser det med det samme eller sender det i peer review. Helt som vi kender det i dag,« forklarer Charlotte Wien. 

Forskellen i åbent peer review er så, at alt fra dette punkt sker med fuldstændig åbenhed. Hvis tidsskriftet vil arbejde videre med studiet, så lægger de studiet op, som det er, inden det bliver peer reviewed. 

»Når det er lagt op, skal der selvfølgelig stå med store bogstaver i artiklen, at den endnu ikke er peer-reviewed. Så vælger redaktøren bedømmerne, der gør præcis det samme, som de gør nu. Den eneste forskel er, at deres kritik også lægges frem, så alle kan læse den,« uddyber Charlotte Wien. 

Når forskerne bag studiet, tidsskriftets redaktør og fagfællebedømmerne, der står for peer review, bliver enige om en endelig artikel, lægges den naturligvis også frem. På den måde er hele processen fuldstændig gennemsigtig. 

»Den eneste forskel er, at alt det, der nu foregår i det skjulte, lægges frem i det åbne. Det vil gøre det nemmere for alle at vurdere, hvordan artiklen er blevet til, og om peer reviewet har været fair,« forklarer Charlotte Wien.

Kan det ikke forvirre mere end det gavner og føre til, at folk misbruger endnu ikke peer reviewed forskning til at underbygge deres synspunkter?

»Det sker jo allerede. Ethvert menneske, der har adgang til Google, kan cherry picke (at plukke den information, der underbygger ens synspunkt, og se bort fra den, der ikke gør, red.) alt muligt revl og krat. Det er så slemt, som det kan blive. Det eneste, der kan sættes ind imod det, er uddannelse,« siger Charlotte Wien.

Vigtigt at skelne mellem peer reviews

Jesper Wiborg Schneider tilføjer, at det åbne peer review-system ville give et mere realistisk billede af, hvordan hele processen fungerer.

»Peer review bliver brugt som et kvalitetsstempel, ofte i fuldstændig blinde. Det er blandt andet det, som fup-tidsskrifterne (også kendt som ‘predatory journals’, red.) lever af. Men peer review er ikke altid garanti for kvalitet,« siger han og fortsætter:

»Mange er ikke klar over, at peer reviews laves vidt forskelligt fra tidsskrift til tidsskrift og fra bedømmer til bedømmer. Man kan få bedømmelser til samme studie, hvor den ene siger, at studiet er accepteret uden rettelser, mens en anden siger, at studiet slet ikke bør bringes.«

»Peer review kan typisk luge det værste ud, men herefter opstår uenigheden, og den bliver oftest kun større, når antallet af bedømmere vokser,« lyder det fra professoren.

For Jesper Wiborg Schneider er det vigtigt, at der i fremtiden kommer et større fokus på, hvordan et peer review er lavet. Det kan åbne peer reviews og den mere udbredte brug af preprints, som vi har set under corona-virussen, hjælpe med, pointerer han.

Tidsskriftsredaktør: Åbne peer reviews er en illusion

Ikke alle er dog lige så positivt stemte overfor idéen om åbne peer reviews. Tidsskriftsredaktøren Peter Hokland er bekendt med systemet, der »umiddelbart lyder fornuftigt«, men i realiteten er urealistisk, mener han:

»Man kan være meget idealistisk og tale for, at alt skal være åbent, så man kan vide, at ‘Doktor X’ har bedømt manuskriptet og sagt, at det er noget lort. Men jeg tror ikke, at det holder. Jeg tror, at det er en illusion, og jeg tror, at det vil betyde en forringelse af forskningen,« siger han og fortsætter: 

»Der er jo en grund til, at peer review i sin oprindelse er anonymt, og det er for at sikre, at bedømmerne kan være så åbne og ærlige som muligt uden at skulle frygte for deres karrierer eller tvistigheder med andre forskere.«

Desuden fungerer systemet allerede på en måde, hvor man har mulighed for at klage over et dårligt peer review til tidsskriftets redaktør.

Peter Hokland påpeger også, at en af de største udfordringer for tidsskrifter i forvejen er at finde relevante bedømmere, og han mener, at et åbent peer review-system vil gøre det endnu sværere. 

Mange forskere har, som John Ioannidis, lagt deres studier ud som preprint, fordi resultaterne ifølge forskerne var for vigtige til at lade vente på sig. I skrivende stund er over 10.000 corona-studier udgivet på de to førende preprint-servere medRxiv og bioRxiv.

Historien bag peer review: Tog for alvor fart under Den Kolde Krig

Kvalitetssikring, kontrol og kritik af videnskaben er dybt forankret i den måde, videnskaben fungerer på, og det har den på en måde altid været, forklarer Kasper Risbjerg Eskildsen, lektor i videnskabsstudier og videnskabshistorie, på Roskilde Universitet: 

»Den klassiske fortælling er, at den formaliserede kritik og kvalitetssikring af forskning for alvor fødes med oprettelsen af Royal Society i 1660. Men det er en myte. Peer review, som vi kender det nu, er først opstået senere,« siger han.

Den tyskfødte sekretær for Royal Society Henry Oldenburg (1619-1677) krediteres ofte som fader til den videnskabelige peer review for selskabets tidsskrift Philosophical Transactions. Men den peer review, der praktiseres gennem 1700-tallet og 1800-tallet, er ikke lig den, vi kender i dag, hvor den er langt mere systematiseret. 

De systematiske peer reviews, som vi kender dem i dag, tager for alvor fat i USA i koldkrigsperioden i 1970’erne. Det sker blandt andet, fordi der laves meget mere forskning, og at forskningen kommer til at spille en meget større rolle i samfundet.

»Der bruges der mange flere offentlige midler på forskning blandt andet igennem de offentlige forskningsråd, der oprettes efter anden verdenskrig. Det gør, at man får brug for at kontrollere, hvad pengene bruges til, og det sætter gang i en mere systematisk kvalitetssikring af forskningen,« lyder det fra Kasper Risbjerg Eskildsen.

Hvis du vil dykke mere ned i historien om peer review, kan du læse den amerikanske historiker Melinda Baldwins artikel ‘Scientific Autonomy, Public Accountability, and the Rise of “Peer Review” in the Cold War United States’ fra 2018.

Hej! Vi vil gerne fortælle dig lidt om os selv

Nu hvor du er nået helt herned på vores hjemmeside, er det vist på tide, at vi introducerer os.

Vi hedder Videnskab.dk, kom til verden i 2008 og er siden vokset til at blive Danmarks største videnskabsmedie med 1 million brugere om måneden.

Vores uafhængige redaktion leverer dagligt gratis forskningsnyheder og andet prisvindende indhold, der med solidt afsæt i videnskabens verden forsøger at give dig aha-oplevelser og væbne dig mod misinformation.

Vores journalister fortæller historier om både kultur, astronomi, sundhed, klima, filosofi og al anden god videnskab indimellem - i form af artikler, podcasts, YouTube-videoer og indhold på sociale medier.

Vi stiller meget høje krav til, hvordan vi finder og laver vores historier. Vi har lavet et manifest med gode råd til at finde troværdig information, og vi modtog i 2021 en fornem pris for vores guide til god, kritisk videnskabsjournalistik.

Vores redaktion gør en dyd ud af at få uafhængige forskere til at bedømme betydningen af nye studier, og alle interviewede forskere citat- og faktatjekker vores artikler før publicering.

Hvis du går rundt og undrer dig over stort eller småt, vil vi elske at høre fra dig og forsøge at give dig svar med forskernes hjælp. Send bare dit spørgsmål til vores brevkasse Spørg Videnskaben.

Vi håber, at du vil følge med i forskningens forunderlige opdagelser her på Videnskab.dk.

Få et af vores gratis nyhedsbreve sendt til din indbakke. Du kan også følge os på sociale medier: Facebook, Twitter, Instagram, YouTube eller LinkedIn.

Med venlig hilsen

Videnskab.dk

Videnskab.dk Podcast

Lyt til vores seneste podcast herunder eller via en podcast-app på din smartphone.

Danske corona-tal

Videnskab.dk går i dybden med den seneste corona-forskning. Læs vores artikler i temaet her.

Hver dag opdaterer vi også de seneste tal.

Dyk ned i grafer om udviklingen i antal smittede, indlagte og døde i Danmark og alle andre lande.

Ny video fra Tjek

Tjek er en YouTube-kanal om videnskab henvendt til unge.

Indholdet på kanalen bliver produceret af Videnskab.dk's videojournalister med samme journalistiske arbejdsgange, som bliver anvendt på Videnskab.dk.


Ugens videnskabsbillede

Se flere forskningsfotos på Instagram, og læs om astronautens foto af polarlys, som du kan se herunder.