Top-tidsskrifter bryder etiske retningslinjer: Hindrer kritik af egne studier
En tredjedel af tidsskrifterne har ikke en direkte kanal for kritik af studier, de selv har publiceret.

123 ud af 330 af verdens top-tidsskrifter overholder ikke de retningslinjer for såkaldt postpublikations-kritik, som de ellers har sagt ja til at følge. (Foto: Shutterstock)

123 ud af 330 af verdens top-tidsskrifter overholder ikke de retningslinjer for såkaldt postpublikations-kritik, som de ellers har sagt ja til at følge. (Foto: Shutterstock)

Postpublikations-kritik. 

Et sexet ord er det ikke, men det dækker over en vigtig mekanisme i videnskabens verden: 

Muligheden for - i tidsskrifternes egne spalter vel at mærke - at fange, kritisere og kommentere fejl og mangler i forskning, der er blevet udgivet af videnskabelige tidsskrifter.

»Dårlig eller underrapporteret videnskab kan snige sig gennem nåleøjet hos tidsskrifterne. Postpublikations-kritik skaber mulighed for at udbedre dette,« fortæller ph.d.-studerende Theiss Bendixen til Videnskab.dk. 

»Hvis mekanismen ikke fungerer optimalt, kan dårlig videnskab leve videre. Konsekvensen vil være, at brugere af videnskaben, som virksomheder, politikere eller embedsfolk, støder på studier, som de ikke kan stole på. Det kan være dybt problematisk,« uddyber Theiss Bendixen.

Han er medforfatter til et nyt studie, der har kortlagt praksissen for postpublikation i 330 af verdens mest indflydelsesrige tidsskrifter.

Forskerne har set på de 15 tidsskrifter med flest citationer over en hidtil uset bred kam af hele 22 forskellige discipliner fra medicin og fysik til landbrug og økonomi. 

Tidsskrifter lægger hindringer i vejen for kritik

Situationen er samlet set ikke for god, konkluderer forskerne. 

Flere end en tredjedel - helt præcist 123 - af tidsskrifterne tilbyder hverken en formular eller blanket, hvor andre forskere kan kommentere studier, der er udgivet i tidsskrifterne. 

»Vores resultater tyder på, at top-rangerede tidsskrifter ofte lægger alvorlige hindringer i vejen for at kultivere, dokumentere og formidle postpublikations-kritik,« konkluderer forskerne i studiet, der er udgivet i tidsskriftet Royal Society Open Science.

»Når tidsskrifterne ikke gør opmærksom på, at ‘her kan man sende sin kritik’, er det en stor barriere for, at andre forskere går i rette med fejl eller mangler i et studie,« uddyber Theiss Bendixen, der forsker ved Institut for Kultur og Samfund på Aarhus Universitet.

Ikke at have en direkte kanal til postpublikations-kritik går tilmed direkte imod de etiske retningslinjer fra ‘Udvalget for Publikationsetik' (COPE), som mere eller mindre alle tidsskrifter i verden - 13.717 tidsskrifter i skrivende stund - ellers har sagt ja til at følge.  

»Bekymrende« og »problematisk«

Formand i COPE, Daniel Kulp, er med sine egne ord også »en smule overrasket« over resultatet. Blandt andet fordi top-tidsskrifterne ofte publicerer studier, »der virkelig kan skubbe til grænserne« for videnskaben, som han siger til Science. 

Herhjemme spærrer professor i videnskabsstudier David Budtz Pedersen også øjnene op over studiets konklusioner:

»Postpublikations-kritik er en vigtig mekanisme, og det er vigtigt som supplement til krav om ‘retraction’, hvor andre forskergrupper mener, at en artikel skal trækkes tilbage,« lyder det fra professoren tilknyttet Aalborg Universitet:

»Videnskaben nyder gavn af at udveksle idéer i det åbne. Så det er i mine øjne bekymrende, at mulighederne for at artikulere faglig kritik ikke er bedre, end de faktisk er, som studiet dokumenterer,« fortsætter han.  

Medforfatter til studiet Theiss Bendixen kalder resultatet for »problematisk«: 

»Vi ved, at der bliver udgivet studier, som ikke skulle være udgivet i sin nuværende form. Enten, fordi data er behandlet forkert, eller fordi den statistiske analyse er fejlbehæftet. Det er et grundpræmis i forskningen.« 

»Når en tredjedel ikke tilbyder nogen midler til at korrigere og rydde op i økosystemet, vil konsekvensen være, at dårlig videnskab kan leve videre i videnskabelig litteratur,« siger han. 

Flere fjollede barrierer

Top-tidsskrifternes manglende kanaler for kritik eller kommentarer er dog ikke den eneste hindring for, at den kritiske debat flyder gnidningsfrit rundt i tidsskrifterne.

Mange af de 207 tidsskrifter, der rent faktisk har en åben kanal til kritik og kommentarer, har for strikse krav til længden af en kommentar. Derudover er deadlinen for indsendelsen af en kommentar ofte stram, lyder kritikken i det nye studie.  

»De fleste tidsskrifter har en begrænsning på, at en kommentar må være mellem 100 og op til 1.000 ord. Desuden skal kommentaren i de fleste tidsskrifter indsendes inden for 6 måneder efter publicering,« påpeger Theiss Bendixen og tilføjer:

»Især deadlinen på 3, 6 eller 12 måneder er en fjollet barriere. Det er vel bedst at få ryddet op i fejlene, også selvom det først sker et år eller to, efter et studie er blevet udgivet. Det er lidt skørt at afvise en kommentar, fordi den er indsendt en uge for sent«.

Stikprøve: Postpublikations-kritik leder sjældent til rettelser

 

Selvom forskere rent faktisk får postpublikations-kritik bragt, mødes denne kritik oftere med kulde end lydhørhed og åbne arme af de kritiserede forskere.

I det nye studie foretog forskerne en stikprøve af, hvordan kritiserede forskere svarede på kommentarer i 58 tilfælde.  

  • I 55 af tilfældene fastholdt den kritiserede forsker, at »deres hovedpåstande forblev uændret« trods kritikken.
  • Kun to gange ledte postpublikations-kritik til rettelser i et studie. 
  • I et tilfælde har den kritiserede forsker ikke  afvist kritikken, men alligevel har det ikke ledt til en rettelse.

Kilde: Post-publication critique at top-ranked journals across scientific disciplines: a cross-sectional assessment of policies and practice (Royal Society Open Science, 2022).

Stort problem i socialvidenskab og økonomi

Med til historien hører, at barriererne for postpublikations-kritik også varierer en del fra felt til felt. 

Lykkeligvis fandt forskerne, at alle de 15 medicinske tidsskrifter i deres undersøgelse havde en åben og direkte kanal til kritik og kommentarer.

»Klinisk medicin er meget empirisk drevet, så det er nemt at gå til og kritisere. Og så er der en direkte risiko for patienternes helbred, hvis mangelfuld forskning ikke bliver korrigeret,« forklarer Theiss Bendixen. 

I teoretisk tunge videnskaber som fysik og matematik havde tidsskrifterne de dårligste vilkår for kritik og kommentarer. Sandsynligvis, fordi konsekvensen af fejl ikke er lige så store og direkte i disse fag. Og fordi det hurtigt kan udmønte sig i endeløse teoretiske udredninger.

Mere kritisk er det til gengæld, at top-tidsskrifterne for socialvidenskab og økonomi har en dårlig kultur for postpublikation, påpeger Theiss Bendixen.

Kun 33 procent af tidsskrifterne i socialvidenskab og 20 procent af økonomi-tidsskrifterne tilbød en eller anden form for postpublikations-mulighed.

»Her begynder det at blive mere problematisk, fordi det er videnskaber, der er karakteriseret af data og empiriske analyser, som politikere og embedsfolk retter sig efter,« lyder det fra Theiss Bendixen. 

Tre mulige årsager til problemerne

Men hvorfor ignorerer over en tredjedel af verdens top-tidsskrifter så den tilsyneladende vigtige postpublikations-mekanisme?

Forskerne oplister en række mulige forklaringer, som de dog ikke har undersøgt nærmere i studiet: 

  • Først og fremmest er der nok tale om et tids- og ressourceproblem. 
  • Endnu en forklaring kan være, at nogle tidsskrifter finder, det er nok, at de trækker studier tilbage eller retter fejl, hvis de bliver fundet eller påpeget. Problemet i dette er dog, at den slags fejl påpeges i det lukkede, og at nogle tidsskrifter ikke tydeliggør, at en artikel er trukket tilbage eller blevet rettet. 
  • Til sidst - og lidt mere teknisk - vedlægger flere tidsskrifter links til det såkaldte PubPeer til studier. Her kan forskere anonymt kommentere artikler. Problemet er dog, at mange læsere af et studie næppe vil opdage kommentarerne på PubPeer.  

For professor Charlotte Wien »lugter det lidt af«, at forlagene bag de videnskabelige tidsskrifter holder muldvarpeskindet i inderlommen:

»I nogle tilfælde kan det gå imod forlagenes økonomiske interesse at orkestrere postpublikations-kritik,« lyder vurderingen fra Charlotte Wien, der forsker i forskningskommunikation på Syddansk Universitet: 

»En af grundene til, at universiteterne betaler i dyre domme for adgang til tidsskrifter, er blandt andet, at de faciliterer en peer review-proces af studierne. Hvis de også skal til at lave post reviews, begynder forlagenes forretningsmodel at vakle,« uddyber hun.

Hvad skal vi gøre? 

Forskerne bag det nye studie nøjes dog ikke med at gå kritisk til tidsskrifterne. De fremlægger også hele 10 forslag, der kan forbedre vilkårene for postpublikations-kritik hos tidsskrifterne. De anbefaler blandt andet at: 

  • fjerne den strikse tidsgrænse for, hvornår kritiske kommentarer skal indsendes,
  • tydeliggøre, hvordan kommentarer og kritik skal indsendes, og hvorvidt kritikken bliver peer reviewet, og hvordan den udgives,
  • tidsskrifter skal offentliggøre kvalificeret postpublikations-kritik med det samme online.

Theiss Bendixen supplerer:

»Formålet med undersøgelsen er konstruktivt. Det er ikke et angreb på tidsskrifterne eller det videnskabelige samfund. Formålet er at skabe de bedste vilkår for forskningen for fremtiden, selvom der også slipper dårlig videnskab gennem nåleøjet,« lyder budskabet. 

For Charlotte Wien er håbet endnu mere radikalt. Hun så gerne, at tidsskrifterne fuldstændigt droppede den anonyme peer review-proces og sadlede om til 100 procent preprint-udgivelse. Det vil sige udgivelser uden kritisk granskning fra andre forskere:

»I min drømmeverden ville det være sådan, at forskere blot uploader et preprint, når de er færdige med deres artikel. Herefter vil der kunne foregå en vedvarende og gennemsigtig dialog om artiklen. Jeg tror fuldt og fast på den selvkorrigerende mekanisme i forskningen,« siger hun.

»Jeg mener ikke, at forlag bør spinde guld på artiklerne for at facilitere en peer review-proces, der i forvejen er presset af en krise, fordi det er svært at finde reviewere,« tilføjer Charlotte Wien. 

Den længere debat om »krisen« i peer review-processen kan du læse mere om i artiklen Er tiden løbet fra de videnskabelige tidsskrifter og deres peer review-processer? på Videnskab.dk. 

Du kan også læse om faldgruberne ved peer review i boksen herunder.

Kritik af peer review

Det britisk-hollandske forlag Elsevier har udarbejdet en udmærket liste over nogle af faldgruberne ved peer review. Her kommer en samling af de mere udbredte kritikpunkter:

  • Peer review er intet værn mod overlagt snyd. Fifler man med data eller virkeligheden, kan det ofte være svært at fange i et peer review. 
  • Peer review risikerer at opretholde en forudindtaget, selektiv og konservativ prioritering af forskningen, der udgives. Det gør det svært at udkomme med banebrydende ny forskning.
  • Mange såkaldte fup-tidsskrifter udnytter peer review som kvalitetsstempel. De udgiver hvad som helst for et mindre beløb, og derfor er det altså heller ingen garanti længere, at et studie har været igennem et peer review. 
  • Det er svært at finde gode fagfællebedømmere, da der hverken er penge eller meritter i at deltage i et peer review. Den eneste gulerod ved at være bedømmer er at ville bidrage til videnskaben og følge med i litteraturen. 
  • Der findes eksempler på, at bedømmere er forudindtagede i forhold til køn, nationaliteter, etnicitet med mere. 
  • Der findes eksempler på citerings-manipulation, hvor redaktører eller bedømmere presser på for at få deres eget tidsskrift eller egne studier citeret i studiet, som de bedømmer. 
  • Peer review er en langsommelig proces, og det er kritisk, hvis et vigtigt studie - særligt inden for sundhed eller medicin - lader vente på sig. 

Ny video fra Tjek

Tjek er en YouTube-kanal om videnskab henvendt til unge.

Indholdet på kanalen bliver produceret af Videnskab.dk's videojournalister med samme journalistiske arbejdsgange, som bliver anvendt på Videnskab.dk.

Ugens videnskabsbillede

Se flere forskningsfotos på Instagram, og læs om de utrolige billeder af Jupiter her.

Videnskab.dk Podcast

Lyt til vores seneste podcast herunder eller via en podcast-app på din smartphone.

Hej! Vi vil gerne fortælle dig lidt om os selv

Nu hvor du er nået helt herned på vores hjemmeside, er det vist på tide, at vi introducerer os.

Vi hedder Videnskab.dk, kom til verden i 2008 og er siden vokset til at blive Danmarks største videnskabsmedie med over en halv million brugere om måneden.

Vores uafhængige redaktion leverer dagligt gratis forskningsnyheder og andet prisvindende indhold, der med solidt afsæt i videnskabens verden forsøger at give dig aha-oplevelser og væbne dig mod misinformation.

Vores journalister fortæller historier om både kultur, astronomi, sundhed, klima, filosofi og al anden god videnskab indimellem - i form af artikler, podcasts, YouTube-videoer og indhold på sociale medier.

Vi stiller meget høje krav til, hvordan vi finder og laver vores historier. Vi har lavet et manifest med gode råd til at finde troværdig information, og vi modtog i 2021 en fornem pris for vores guide til god, kritisk videnskabsjournalistik.

Vores redaktion gør en dyd ud af at få uafhængige forskere til at bedømme betydningen af nye studier, og alle interviewede forskere citat- og faktatjekker vores artikler før publicering.

Hvis du går rundt og undrer dig over stort eller småt, vil vi elske at høre fra dig og forsøge at give dig svar med forskernes hjælp. Send bare dit spørgsmål til vores brevkasse Spørg Videnskaben.

Vi håber, at du vil følge med i forskningens forunderlige opdagelser her på Videnskab.dk.

Få et af vores gratis nyhedsbreve sendt til din indbakke. Du kan også følge os på sociale medier: Facebook, Twitter, Instagram, YouTube eller LinkedIn.

Med venlig hilsen

Videnskab.dk