Fupstudie vil kritisere ‘akademisk postmodernisme’ – men går helt galt i byen

I begyndelsen af oktober var der opstand i den akademiske verden. Årsagen var et fupnummer – et såkaldt hoax – begået af de tre amerikanske akademikere Helen Pluckrose, James A. Lindsay og Peter Boghossian (herefter PLB).

Trioen havde indsendt 20 artikler til videnskabelige tidsskrifter inden for områderne køns- og kulturstudier, men artiklerne var falske i den betydning, at de byggede på konstruerede data, var metodesvage eller fremsatte absurde påstande.

PLB kunne nu rapportere i en artikel i onlinemagasinet Areo, at syv af artiklerne var blevet godkendt til publikation. På den baggrund konkluderede de, at der er fatale fejl i det akademiske fundament for de forskningsområder, de havde testet.

Hoax-studiet lider imidlertid selv af en række alvorlige fejl og fremstår mere som en fupartikel end som seriøst akademisk arbejde.

Sagen giver dog grund til at rette fokus mod de kontrolmekanismer, der gerne skulle sikre, at videnskaben er til at stole på, og navnlig viser den, at det såkaldte peer-review ikke altid spiller den rolle, folk tror.

To tredjedele blev bremset af peer-review

Lad os starte med at se lidt nærmere på fupnummeret.

PLB havde som sagt skrevet 20 artikler, der, på den ene eller den anden måde, savnede akademisk kvalitet (de var metodesvage, havde tvivlsomme data eller kom med absurde påstande).

Alle artikler blev sendt til akademiske tidsskrifter, hvor de gennemgik peer-review, altså en bedømmelse, hvor et lille antal fagfæller kan vende tommelfingeren op eller ned efter en kritisk gennemgang af artiklen.

Da PLB afslørede deres stunt, var ni af artiklerne blevet blankt afvist (ofte gentagende gange), fire var stadig under review (for tre af de fires vedkommende efter at være blevet afvist med krav om større revisioner), og syv af artiklerne var blevet accepteret til publikation.

Så selvom syv af artiklerne slap igennem fagfællernes bedømmelse, er det også værd at bemærke, at to tredjedele af artiklerne faktisk blev bremset i review-systemet.

\ Læs mere

Peer review-processen fungerer, når millioner skal uddeles til forskningsprojekter

Et af hoax-studierne var et digt

Hvis vi fokuserer på de syv artikler, der slap igennem review, havde én form af et digt eller eksperimenterende prosatekst, og den var et fupnummer i den forstand, at dele af teksten var genereret af et computerprogram.

Man kan måske undre sig over, hvad et digt laver i et akademisk tidsskrift, men det er ikke usædvanligt, at man i et fagfelt har tidsskrifter, der rummer kunst, digte og sjove historier, der på den ene eller anden måde har relation til fagfeltet.

Da litterær kvalitet ikke har noget at gøre med akademisk ditto, vil jeg fremover se bort fra denne artikel.

Laver samme fejl, som de forsøger at påpege

Af de seks resterende artikler havde tre karakter af empiriske (sociologiske) studier, og var fupnumre i den forstand, at de byggede på opdigtede data og i visse tilfælde virkede metodesvage.

De sidste tre artikler var essays, der i PLB’s øjne var fupnumre i den forstand, at de var drevet af ideologi og i et vist omfang argumentsvage (omend ingen af artiklerne var rent vrøvl, som det var tilfældet i en tidligere berømt hoax-sag fra 1996, hvor den amerikanske fysiker Alan Sokal fik en decideret uforståelig artikel publiceret i tidsskriftet ‘Social Text’).

Det er i grove træk fupnumrene, som PLB præsenterede det i deres artikel. På den baggrund konkluderer de, at de fagfelter, de havde fuppet (groft sagt køns- og kulturstudier) er fundamentalt fejlbehæftede.

Årsagen til forfaldet er, ifølge PLB, at disse fagfelter har et postmodernistisk og socialkonstruktivistisk udgangspunkt (hvilket ultrakort vil sige, at de søger at tage den rolle, sociale forhandlinger spiller i vores vidensproduktion, alvorligt).

Det postmodernistiske udgangspunkt udvisker dog, som PLB ser det, skellet mellem sandt og falsk, og derfor er det umuligt for reviewerne i køns- og kulturstudier at skelne solidt akademisk arbejde fra fup og fidus; så længe en artikel bruger det rigtige sprog og reflekterer de rigtige meninger, kan den accepteres.

Det er dog klart, at den vidtrækkende konklusion på ingen måde følger af den empiri, de tre forfattere har fremlagt.

Deres studie lider nemlig i høj grad selv af de fejl, de hævder at se i det postmoderne akademia: Studiet er metodesvagt, politiserende og har desuden en række alvorlige forskningsetiske skavanker.

Uredelige fupmagere

For at tage det sidste først har PLB konstrueret data og løjet om deres identitet i forbindelse med konstruktionen af fupartiklerne, og værre endnu har de offentliggjort fortrolige review-rapporter uden at spørge reviewerne om lov.

Det første er, kan man til PLB’s forsvar sige, en del af fupnummerets natur, men det er dog et middel, man kun bør tage i brug i yderste nødstilfælde – præcis som journalister skal tænke sig godt om, inden de bruger optagelser med skjult mikrofon.

Problemerne stopper dog langt fra der.

Deres egen artikel er nemlig ekstremt ensidig i sin fortolkning af data – blandt andet forbigås de forkastede artikler i analysen, og forfatterne sørger omhyggeligt for kun at citere de mest positive dele af reviewrapporterne, mens reviewernes kritik forbigås i tavshed.

Det er mildt sagt et udtryk for dårlig videnskabelig praksis grænsende til uredelighed.

Og for at gøre ondt værre har deres artikel ikke selv været udsat for peer review. Den er derimod publiceret i et online-magasin, hvor en af de tre forfattere (Helen Pluckrose) er redaktør.

Magasinet har en selverklæret værdibaseret publiceringsstrategi: ‘Areo udgiver tankevækkende essays fra en række perspektiver, der er forenelige med liberale og humanistiske værdier i bred forstand’ hedder det således i deres ‘About‘-sektion (min oversættelse).

Dermed er de netop ideologisk motiverede i deres ‘forskning’ – hvilket jo er det, de kritiserer køns- og kulturstudier for at være.

Studiet har ingen kontrolgruppe

Men har PLB så på trods af den uetiske fremfærd en pointe? Det jo lykkedes at få seks artikler af ringe kvalitet publiceret.

Svaret er et klart nej. De tre forfatteres pointe – at de svage artikler blev accepteret, fordi kultur- og kønsstudiers postmodernistiske udgangspunkt umuliggør et reelt akademisk kvalitetstjek – bygger på den implicitte præmis, at den akademiske kvalitet alle andre steder er meget høj.

Fra et metodologisk synspunkt mangler deres studie dog en kontrol – altså en test fra et felt, der ikke er påvirket af postmodernisme.

Forfatterne har ikke selv lavet en sådan kontrol, og det er svært at lave en egentlig kontrol, men hvis man ser sig omkring – og det skal vi til nu – er der ikke noget, der tyder på, at køns- og kulturstudier har lavere kvalitetskontrol end så mange andre akademiske felter.

PLB misforstår peer review-systemet

Lad os starte med de konstruerede data. Her har PLB tilsyneladende klart misforstået den rolle, peer-review spiller.

Der er forskelle mellem de forskellige fagtraditioner, men i grove træk kan man sige, at et peer-review skal sikre, at en artikels metoder er i orden, og at artiklen er et væsentligt og relevant indspark i den videnskabelige diskussion, der foregår i tidsskriftet og i den del af den videnskabelige verden, tidsskriftet tilhører.

Men et review kan og skal ikke sikre imod, at en artikel bygger på selvopfundne data. Det er næsten umuligt for en reviewer at afsløre bevidst fusk med data, og derfor ligger den del af kontrollen andre steder i systemet – for eksempel hos medforfattere, overordnede og hos de institutioner, hvor forskerne er ansat.

Det sker dog jævnligt – også uden for køns- og kulturstudier – at artikler bliver trukket tilbage, fordi man efter deres publikation har fundet ud af, at de byggede på konstruerede data (se for eksempel Retractionwatch, som holder øje med, hvilke akademiske artikler der bliver trukket tilbage).

\ Læs mere

Forsker: Peer review er rent lotteri

Intet tyder på, at kvaliteten er højere inden for andre felter

Hvis vi kigger på spørgsmålet om metoderne, kan man med en vis ret sige, at reviewet af de seks fupartikler kunne have været skarpere på visse punkter.

Det er dog ikke altid klart, hvad ‘den rigtige metode’ er i et konkret tilfælde, og desuden er det ikke klart, at køns- og kulturstudier skulle være specielt udfordret.

For at give et eksempel viste en gennemgang af 525 artikler publiceret i fire førende tidsskrifter for ernæringsforskning, at knap en tredjedel af artiklerne havde den basale metodefejl, at de sluttede fra korrelation til kausalitet.

Tilsvarende hævdede den amerikanske læge John Ioannidis i en berømt artikel fra 2005, at mere end halvdelen af de artikler, der publiceres inden for medicin, rummer fatale metodefejl i form af (bevidst eller ubevidst) misbrug af statistik.

Interessant nok blev synspunktet senere bakket op af selveste Richard Horton, chefredaktøren på det toneangivende tidsskrift The Lancet.

Så hvis man ønsker at publicere en metodesvag artikel i eksempelvis medicin eller ernæringsforskning, skulle der være rig lejlighed til det. Set på den baggrund virker det mærkeligt, at PLB ønsker at hænge netop køns- og kulturstudier ud.

Problemet med metodesvage artikler af lav kvalitet er bredt og har intet at gøre med postmodernisme, men er snarere et produkt af helt andre mekanismer, specielt incitamentsstrukturer, der i for høj grad belønner kvantitet frem for kvalitet.

Et peer review afgør ikke, om en artikel er sand

Man kan dog også spørge, om hoax-studiet ikke mere grundlæggende har misforstået den rolle, peer-review spiller i det akademiske kontrolsystem.

Som jeg allerede har været inde på, kan peer-review ikke sikre mod bevidst forfalskning af data. Ansvaret for at sikre mod den slags ligger primært hos medforfattere og den institution, en forsker arbejder på. Så der er altså – ideelt set – en vis kontrol af en artikel, allerede inden den er skrevet.

Tilsvarende slutter kontrollen med en artikel ikke, blot fordi den er blevet udgivet.

Den videnskabelige vidensproduktion er snarere en proces – en kritisk samtale – der finder sted rundt om og med inspiration i de videnskabelige artikler; nogle artikler bliver hurtigt glemt, andre bliver kritisk efterprøvet, og artikler med modstridende resultater bliver debatteret og undersøgt.

I løbet af den proces bliver fejl rettet og svage artikler sorteret fra, og efterhånden opnås en form for konsensus.

Så hvis man vil undersøge, om et akademisk felt er sundt, skal man undersøge, om det er i stand til at opretholde en stærk og organiseret kritisk diskussion.

Peer-reviewet spiller selvfølgelig en vigtig rolle i den proces, men det er langt fra så altafgørende, som hoax-studiet lægger op til.

At en artikel har været igennem peer-review betyder ikke, at den er sand. Det betyder snarere, at den er erklæret værdig til at indgå i det pågældende fagfelts kritiske diskurs.

\ Læs mere

Peer review: Forskningens kvalitetsstempel har ridser i lakken

\ Læs mere

Sådan kan vi forbedre peer review-processen