Når fupvidenskab bliver statsautoriseret

Siden 2009 har Forskningsstyrelsen fordelt en del af universiteternes basismidler på baggrund af et Bibliometrisk Forskningsindeks (BFI), der er en opgørelse over, hvor mange publikationer forskerne ved de enkelte forskningsinstitutioner publicerer.

For at sikre ikke bare kvantiteten, men også kvaliteten af forskningen, har man desuden udarbejdet en liste – den såkaldte autoritetsliste – over de tidsskrifter og forlag, der har så høj kvalitet, at det udløser BFI-points at publicere i dem.

Fuptidsskrifter er rene pengemaskiner

Når der overhovedet er brug for sådan en liste, skyldes det, at kvaliteten af de videnskabelige tidsskrifter i dag mildest talt er svingende.

Ikke mindst er der de senere år er opstået en underskov af deciderede fuptidsskrifter, der på overfladen ligner rigtige tidsskrifter, men i virkeligheden er rene pengemaskiner, der er villige til at publicere stort set hvad som helst som en peer-reviewed forskningsartikel, hvis forfatteren blot er villig til at betale et mindre publiceringsgebyr.

Således lykkedes det i 2014 den amerikanske ingeniør Alex Smolyanitsky at publicere en artikel, skrevet af Maggie Simpson, Edna Krabappel og Kim Jong Fun. Artiklen var en ren vrøvleartikel, skabt ved hjælp af programmet SCIgen, men alligevel blev den accepteret og publiceret som en peer-reviewed artikel af de to tidsskrifter Journal of Computational Intelligence and Electronic Systems og Aperito Journal of Nanoscience Technology.

Det har i øvrigt vist sig, at samme artikelgenerende program er blevet brugt til at generere omkring 120 artikler, der var blevet optaget i konference proceedings.

Falsk chokoladeforskning blev hurtigt spredt af medierne

For at gøre opmærksom på problemet publicerede videnskabsjournalisten John Bohannon i 2015 en ekstremt metodesvag artikel, der viste – eller påstod at vise – at chokoladespisning forøger vægttab.

Artiklen blev publiceret som peer-reviewet i fuptidsskriftet International Archives of Medicine, og efterfølgende fik Bohannon knap 200 nyhedsmedier til at sprede det glade budskab om den positive effekt af chokoladespisning, inden han afslørede sit fupnummer.

Det lille stunt viser, hvor farligt det kan være, hvis folk i almindelighed og journalister i særdeleshed blindt stoler på kvaliteten af videnskabelige tidsskrifter.

Den problematik kan du også læse om i artiklen: Dit stjernetegn har betydning for, om du overlever blodforgiftning

Bevidst fejl-konstrueret artikel blev rask væk publiceret

Samme Bohannon stod også bag en af de mest omfattende undersøgelse af tvivlsomme tidsskrifter. I samarbejde med tidsskriftet Science konstruerede han i 2012 en artikel, der i grove træk viste, at et molekyle fra en lavart kan hæmme visse kræftformer. Artiklen var bevidst konstrueret, så den indeholdt en række grove metodefejl, der burde få enhver reviewer til at afvise den.

Bohannon sendte artiklen til i alt 304 tidsskrifter. Af disse afviste 98 tidsskrifter artiklen, mens 157 publicerede den (resten mistede han kontakten med).

Det skal siges, at Bohannon kun sendte sin fupartiklel til tidsskrifter, der kræver publikationsgebyr. Det kan måske i sig selv virke mistænkeligt, men det er faktisk ikke så usædvanligt, idet der generelt i den akademiske verden er en bevægelse mod såkaldt 'open access' (se faktaboks 2).

Det er denne forretningsmodel, mange (men ikke alle) fuptidsskrifterne snylter på. Det er dog ikke godt at vide, hvad der ville være sket, hvis Bohannon også havde sendt artiklen til traditionelle tidsskriftet som hans arbejdsgiver Science.

Ingen opgørelser over fuptidsskrifterne - undtaget Bealls liste

Der findes ingen autoritativ eller officiel opgørelse over fuptidsskrifterne, så ingen aner reelt, hvor mange der er.

Det nærmeste, vi kommer på en opgørelse, er en online-liste, der administreres af bibliotekaren Jeffrey Beall.

Beall undersøger mistænkelige tidsskrifter og forlag, og hvis han vurderer, at et tidsskrift eller et forlaget er uærligt, kommer det på listen; ofte (men ikke altid) sammen med en begrundelse for afgørelsen.

Det kan f.eks. være, at et nystartet forlag publicerer et stort antal artikler, før deres videnskabelige panel mv. er på plads, eller at der er tegn på, at et tidsskrifts reviewsystem er kompromitteret (eller ikke-eksisterende).

Bealls kriterier for inklusion på listen kan ses her.

Den danske autoritetsliste indeholder fupartikler

Når der nu er så mange fuptidsskrifter, skulle man tro, at behovet for en autoritetsliste, der kunne hjælpe en med at finde de ærlige tidsskrifter, er så meget des større.

Langt hen ad vejen opfylder den danske autoritetsliste da også det behov, men der er bare det problem, at listen ikke helt holder, hvad den lover.

LÆS OGSÅ: Ministerium har fuptidsskrifter på blåstemplet liste

En gennemgang af listen, jeg lavede i forbindelse med min videnskabsteoriundervisning, viser således, at to af de tidsskrifter, der accepterede Bohannons fupartikel om mirakelhelbredelse af cancer, står på autoritetslisten, nemlig Journal of International Medical Research (ISSN 0300-0605) og Genetics and Molecular Research (ISSN 1676-5680). Bohannons data er tilgængelig her.

Fupartiklen ville således have været BFI-givende, og den samvittighedsfulde journalist eller borger, der ønskede at undersøge troværdigheden af Bohannons konklusioner, ville have fået det indtryk, at artiklen var blevet publiceret i et troværdigt tidsskrift og dermed havde gennemgået peer-review efter de sædvanelige standarter.

Listen ville dermed have været med til at legitimere underlødig og vildledende forskning.

5 ud af 15 tidsskrifter kan sættes på listen

Som nævnt, har Beall i modsætning til Bohannon ikke direkte testet de tidsskrifter, han har sat på sin liste, og man kan derfor ikke udelukke, at ærlige tidsskrifter ved en fejl er havnet på listen over fuptidsskrifter.

Tilsvarende kan man heller ikke udelukke, at ærlige forfattere har publiceret gode artikler i et fuptidsskrift (f.eks. fordi de kunne se, at tidsskriftet var på autoritetslisten).

For 5 af de 15 tidsskrifter, der er tale om her, fandt jeg ifølge Bealls kriterier begrundelse for at sætte dem på listen:

Sammenfald mellem autoritetslisten for serier for 2016 og 2017 (her) og Bealls liste over individuelle tidsskrifter (tilgået 16. april):

For at tage et par eksempler er tidsskriftet OncoTarget på listen, da deres review-process tilsyneladende er kompromitteret, mens Journal of Physical Therapy Science udgiver 50 eller flere 2-4 siders artikler hver måned, tilsyneladende uden review (og hver eneste af disse er BFI-givende). SIdstnævnte tidsskrift påstår desuden at være tilknyttet det tilsyneladende ikke-eksisterende Society of Physical Therapy Science.

The Business Review, Cambridge, er et eksempel på et super-lukket tidsskrift, dvs. et tidsskrift, der gør det stort set umuligt at finde andet end et abstract af de artikler, det udgiver.

Ifølge Beall er det let at finde eksempler på plagiering i artiklerne, hvis man får fat på dem (hvilket det ikke lykkedes mig). Tidsskriftet har desuden intet med Cambridge at gøre.

Flere artikler indeholder plagiat - men bum! Så er ét BFI-point hjemme

Jeg kiggede selv lidt nærmere på et enkelt af tidsskrifterne, nemlig European Journal of Educational Sciences (valgt da det ligger tæt på, men dog i periferien af min egen faglige kompetence). En del af artiklerne virker (fra en overfladisk betragtning) som ærligt akademisk arbejde, omend nogle mest af alt ligner studenteropgaver, der ikke burde have status af forskning.

Der er desuden en del plagiat i artiklerne. Jeg har ikke tjekket alt igennem, men min foreløbige rekord er en artikel, hvor omkring 20 procent uden kildehenvisning er kopieret fra indhold, der er frit tilgængeligt på internettet.

For en anden godt fire sider lang artikels vedkommende er omkring 40 procent kopieret, dog for det meste med kildehenvisning. Efter den stort set afskrevne indledningen følger otte linjers metodebeskrivelse og godt én sides resultater og diskussion – og bum! Så er den artikel (og ét BFI-point) hjemme.

Og sådan kunne man blive ved (da det er tidsskriftets og ikke forfatterens troværdighed, der er til debat, har jeg af etiske årsager valgt at tilbageholde titlerne på de to her omtalte artikler. De kan dog fås ved direkte henvendelse).

Som konklusion er European Journal of Educational Sciences næppe blandt de værste på Bealls liste, men der er på den anden side heller ikke noget, der overbeviser mig om, at tidsskriftet konsistent benytter et peer-review, der lever op til sædvanlige akademiske standarder. Tværtimod.

Men alligevel er det altså at finde på Uddannelses- og Forskningsministeriets autoritetsliste over anerkendte tidsskrifter.

Kritikken er ikke en anke mod de forskere, der har lavet autoritetslisten

Alt dette skal ikke forstås som en anke mod de forskere, der har haft ansvaret for at lave autoritetslisten. Der er over 22.000 tidsskrifter på listen, og derfor er det en nærmest uoverkommelig opgave at tjekke dem alle ordentligt igennem.

Min anke er snarere rettet mod det hybris, der ligger i at tro, at en lille gruppe danske forskere uden videre kan lave sådan en liste. En ordentlig liste vil naturligvis kræve et internationalt samarbejde.

Umuligt at udelukke underlødige tidsskrifter

Der er faktisk kim til i det mindste et Nordisk listesamarbejde, og den danske liste bygger til dels på den tilsvarende norske.

Men selv med et internationalt samarbejde på plads, er det langt fra oplagt, at det kan lade sig gøre at lave en velfungerende liste.

Medmindre listen bliver baseret på et sæt helt klare, objektive kriterier, vil den øjeblikkeligt degenerere til et våben, som konkurrerende fagligheder og fortolkninger af et givet fag vil bruge til underminere hinandens faglige legitimitet (som det efter sigende i et vist omfang har været tilfældet med den danske autoritetsliste).

Men på den anden side er det er svært (umuligt?) at vælge kriterier, der er så stramme, at de udelukker de underlødige tidsskrifter, men samtidig er så løse, at de både gør det muligt for nye paradigmer at blomstre op og tillader den ret store diversitet i videnskabelig praksis, man finde i de forskellige videnskabsgrene og videnskabelige samfund.

En kompleks størrelse som forskningskvalitet lader sig næppe modellere med noget så simpelt som en liste i et Excelark.

Autoritetslisten og – nærmere – det bagvedliggende BFI-system er også på en anden og mere grundlæggende vis en del af problemet med den underlødige forskning.

Autoritetslisten er både en markedsmekanisme og en adfærdsregulerende mekanisme

Autoritetslisten er ikke bare en markedsmekanisme, der sørger for at belønne de forskningsinstitutioner, som leverer mest forskning, den er også en adfærdsregulerende mekanisme, der påvirker, hvordan universitetsansatte forskere prioriterer deres arbejde.

Selvom det ikke var den oprindelige intention med systemet, er det i dag ikke ualmindeligt, at forskningsinstitutioner har klare mål for, hvor mange BFI-point den enkelte forsker forventes at producere om året.

På den baggrund er det ikke overraskende, at produktionen af BFI-givende artikler er blevet stærkt forøget siden systemets indførsel.

Så systemet virker. Når det kommer til artikelproduktion.

'Organiseret skepsis' er usynligt for BFI-systemet

Men det interessante ved den slags styringsmekanismer er ikke at spørge, hvordan det går med de arbejdsopgaver, der belønnes, men snarere at spørge, hvordan det går med resten.

Her skal man være klar over, at en væsentlig del af forskeres arbejde består i at deltage i det, sociologen Robert Merton i 1942 identificerede som ’organiseret skepsis’, dvs. det at udføre peer-reviews og andre faglige bedømmelser, at deltage i diskussionen om videnskabelig praksis og metode og i den løbende kontrol og efterprøvning af andres arbejde.

Dén helt centrale del af det videnskabelige arbejde er usynligt for BFI-systemet. Det giver ingen points og kan derfor fremstå som et spild af tid.

17 fuptidsskrifter på autoritetslisten afslører grundlæggende problem

Hvis læseren er irriteret over, at min gennemgang af diverse lister og tidsskrifter indimellem er overfladisk, skyldes det præcis den mekanisme.

For hvordan skal jeg over for mine kolleger kunne retfærdiggøre at bruge tid på den slags frem for at producere BFI-points, når jeg er på et institut, der lige har skullet skille sig af med adskillige medarbejdere som følge af regeringens besparelser på forsknings- og uddannelsesområdet?

Man kan derfor sige, at BFI-systemet nok opfordrer til en højere forskningsproduktion, men samtidigt opfordrer til en adfærd, der er med til at undergrave legitimiteten af den forskning, der produceres.

Når man kan finde 17 formodede fuptidsskrifter på den danske autoritetsliste, er det jo ikke kun, fordi listen er lavet dårligt, men også fordi der er noget grundlæggende galt i den måde, hvorpå forskning struktureres og belønnes.