Støvet er ved at lægge sig lidt i en nylig sag, hvor Aarhus Universitet (AU), den institution jeg har været tilknyttet i næsten et halvt århundrede, blev omtalt i Berlingske Tidende.
Journalisterne havde søgt aktindsigt i en sag, hvor en højt profileret videnskabelig artikel fra 2016 var blevet trukket tilbage i 2019.
Årsagen til tilbagetrækningen var en banal fortegnsfejl i den underliggende kildekode for nogle computersimuleringer. Den førte til en omdebatteret konklusion, men der var tale om en ærlig, men brandærgerlig fejl.
Studiet er nu genudgivet i en rettet version, hvor hovedkonklusionen om, at mennesker i samarbejde med computere kan være bedre til at løse kvantefysiske problemer end algoritmer alene, fastholdes.
Da fejlen var opdaget, resulterede det i, at forfatterne blev undersøgt for, om de havde handlet rettidigt på den fremsatte kritik. Det organ, som tager stilling til dette, nemlig Praksisudvalget på Aarhus Universitet, konkluderede, at forfatterne havde bedrevet »tvivlsom forskningspraksis«, fordi de havde været for langsomme til at reagere på kritikken.
Denne artikel handler ikke om den specifikke fejl i kildekoden og det tilbagetrukne studie. Den handler heller ikke – selvom vi må forbi det – om den behandling, kritikerne blev udsat for.
Snarere vil jeg forsøge at illustrere, hvordan forskningsresultater og kritik sædvanligvis håndteres i det daglige på et hvilket som helst universitet i Danmark med Aarhus Universitet som eksempel.
Jeg vil gøre dette gennem et par eksempler fra mine mange år som forsker ved institutionen og mine tillidshverv der.
Men først skal vi se på behandlingen af kritikerne i den specifikke sag.
\ Om Forskerzonen
Denne artikel er en del af Videnskab.dk’s Forskerzonen, hvor forskerne selv formidler deres forskning, viden og holdninger til et bredt publikum – med hjælp fra redaktionen.
Forskerzonen bliver udgivet takket være støtte fra Lundbeckfonden. Forskerzonens redaktion prioriterer indholdet og styrer de redaktionelle processer, uafhængigt af Lundbeckfonden. Læs mere om Forskerzonens mål, visioner og retningslinjer her.
Sådan ser den idéelle verden ud
Da både nationale og internationale forskere ikke kunne genskabe resultaterne, henvendte de sig – muligvis med varierende konduite – til forfatterne bag artiklen.
Herefter burde man i den ideelle verden ved fælles hjælp have udredt årsagen til diskrepansen.
Kritik – også den skarpe af slagsen – er hjørnestenen i den moderne formidling af forskningsresultater gennem peer-reviewede artikler. Uden kritik er det sværere at finde og rette fejl.
Hvad der ikke 'virkede' i den aarhusianske sag, var, hvordan forskere på Aarhus Universitet, som engagerede sig i kontroversen, kom under angreb (sagsforløbet, set fra den kritiserede forskers perspektiv, er gengivet i boksen under artiklen, red.).
Og her gik det åh-så-galt
En af de mægtigste mænd i dansk forskning Flemming Besenbacher, som har været en dynamo for mange forskningsprojekter og været til stor gavn for dansk forskning, også i udlandet, er formand for Carlsbergfondet, som uddeler store beløb til dansk forskning.
I en mailtråd til Aarhus Universitets rektor med flere betegner Besenbacher kritikerne som »redeskidere« og andre mindre kønne gloser fra det danske sprog. De har »for altid fået et minus i min karakterbog«, lød det i de mails, Berlingske har fået aktindsigt i.
Disse mails er sendt fra Besenbachers Carlsbergfondet-email – altså det sted, hvorfra bestyrelsesformanden uddeler millionbevillinger til dansk forskning – og må siges at være udtryk for ualmindelig dårlig dømmekraft.
Sagen har siden udløst minusser i Besenbachers egen karakterbog.
Den interne kritik var ikke bedre. Her mente en dekan, at kritikerne skulle have munden tapet »til med gaffatape« – og hænderne bundet på ryggen. Samme dekan har siden lagt sig fladt ned og undskyldt i et skriv til medarbejderne på fakultetet (se også dekanens svar på kritikken i boksen under artiklen, red.).
Jeg ærgrer mig, når jeg læser om sagen, fordi den slags udhuler tiltroen til videnskabens resultater. Og gør det, i en tid hvor det er relevant for hele folkesundheden, at folk tror på forskerne, når vi – med baggrund i forskningsresultaterne – siger, at corona-vaccinerne er sikre og effektive.
Jeg ærgrer mig også, fordi videnskaben som sådan, og altså her Aarhus Universitet specifikt, har en lang række ganske velfungerende kanaler til at korrigere fejl.
Vi tjekker for fejl før publicering
Der er ikke noget usædvanligt i, at man kommer til at lave fejl under forskningsforsøg. Det være sig i fortolkning af resultater fra kliniske studier, laboratorieforsøg eller altså også computersimuleringer.
Fejl kan føre til store fremskridt. Tænk bare på Alexander Flemings opdagelse af penicillinet.
Der er også adskillige instanser, som inden offentliggørelse af et arbejde ser på, om det kan indeholde fejl eller snyd. Som seniorredaktør for et større videnskabeligt tidsskrift ser jeg hvert år på hundredevis af indsendelser, først og fremmest for deres videnskabelige værdi. Og jeg afviser de fleste i døren, for konkurrencen er hård.
Jeg ser imidlertid også efter deciderede fejl i det, jeg har forstand på, for eksempel geler med proteiner, eller diagrammer med celler.
Desuden har vi på tidsskriftet en professor i biostatistik fra Oxford, som gennemgår, hvorvidt den statistik, som ligger bag de fleste kliniske forsøg, er korrekt anvendt.
Det er langt fra altid tilfældet, og hans kritik fører ofte til afvisninger af arbejderne. Vores sekretær får derfor ganske mange mails fra forfattere, som har fået afvist et arbejde af statistiske grunde.
Faktisk skriver de ikke sjældent for at sige tak, fordi kritikken fra Oxford-professoren faktisk har hjulpet dem på vej til bedre at forstå deres resultater!
… og får andre forskere til også at tjekke efter
Er vi så klar til udgivelse? På ingen måde. Når jeg og statistikprofessoren er færdige – vel at mærke hvis vi stadig mener, artiklen har potentiale til publicering – sender vi den videre til ekstern kritik, også kaldet fagfællebedømmelse eller peer-review.
Her læser andre forskere artiklen kritisk igennem og sender kommentarer til mig, hvorpå jeg sender kommentarerne, i anonym form, videre til forskerne bag artiklen i peer-review-systemet.
Metoden har både fordele og ulemper, som tidligere er omtalt på Videnskab.dk, men jeg har redegjort for, at, jeg mener, de gode langt overvejer de dårlige.
Når artiklen så (endelig, synes forfatterne ofte) bliver trykt, er der selvfølgelig nogle, som vil nærlæse bedre end andre, mestendels de som arbejder inden for samme område.
Nogle af dem kommer måske med kritiske bemærkninger og spørgsmål til forfatterne per mail, som forskerne så kan forholde sig til. Andre går offentligt med deres kritik og sender deres kritik til tidsskriftet, som trykte artiklen.
Jeg håndterer en del af disse og må i de fleste tilfælde afvise at trykke dem, da de ikke vil give vores læsere ny viden. Men er der tvivl om lødigheden af resultaterne, sender jeg kritikken til udtalelse hos forfatterne.
Kritikken stopper altså ikke ved peer-review og publicering – som det heller ikke var tilfældet i det aarhusianske tilfælde. Men kritikken driver forskningen fremad og sørger for, at videnskab i vid udstrækning er 'selvkorrigerende'.
Hvis én forsker laver en fejl, står andre forskere på spring for at afdække og korrigere den, og det ender altså i nogle få tilfælde med en tilbagetrækning.
På nettet er der faktisk steder, hvor tilbagetrukne arbejder listes op, for eksempel Retraction Watch, som også har en fin journalistisk tilgang til årsagen til tilbagetrækningen.
\ Læs mere
Man må ikke skrive af efter sig selv
Sådan foregår processen altså ved videnskabelige artikler før, under og efter udgivelse. Det er ikke en garanti mod fejl, men det er det bedste system, vi har, til at opdage dem.
Men i en forskeruddannelse ligger der forud for dette andre hjørner, som skal rundes i en karriere, og uddelingen af akademiske grader er en af dem. Også her er der indlagt mekanismer, der skal sikre, at det går rigtigt til.
Jeg var i 5 år fra 2014 til 2019 formand for Udvalget for Tekstlighed på Health (fakultetet for 'sundhed og sygdom'), Aarhus Universitet. 'Tekstlighed', det var et nyt ord for mig i 2014.
Det dækker over, at videnskabelige afhandlinger ved deres indlevering tjekkes for, om tekst, figurer eller tavler indeholder afskrifter fra egne- eller andres arbejde.
Sådan en akademisk afhandling, det være sig ph.d. eller doktorgrad, indeholder en række allerede trykte arbejder fra selvsamme forsker samt en sammenskrivning, som skal sætte forskerens egne resultater i sammenhæng med den internationale litteratur.
Det kan lyde lidt mærkeligt, at man ikke må skrive af efter sig selv. Men det relaterer sig til, at sammenskrivningen skal være en reel sammenskrivning og ikke ren gentagelse af de artikler, som danner baggrund for afhandlingen.
Hvis man blot gentog, ville man nemlig kunne indvende, at al det skrevne lige så godt kunne komme fra de ofte ret så mange medforfattere, som er med på artiklerne. Forskerens sammenskrivning er derimod helt hendes/hans egen arbejde.
Afskrift opdages tidligt
Dette var der en del problemer med i starten af udvalgets arbejde, da der faktisk var en tendens til at genbruge egne tekster.
Det finder man ud, ved at et computerprogram afsøger nettet og leder efter ligheder med afhandlingen, fremhæver steder med afskrift og regner ud, hvor mange procent det drejer sig om.
I nogle tilfælde var det faktisk ret groft, hvor meget den, som indleverede afhandlingen, havde skrevet af, og dette gav anledning til ret pinagtige møder, hvor der var en jurist til stede.
Men i kun tre tilfælde ud af flere hundrede afhandlinger, jeg har været med til at håndtere, viste det sig, at der var skrevet af efter andres arbejder.
Det var dog kun tekst, og der var altså ikke 'hugget' resultater. Et enkelt var imidlertid så groft, at mit udvalg måtte anbefale, at sagen blev videregivet til det ovenfor nævnte Praksisudvalg.
Systemet er gearet til at imødegå unøjagtigheder og afskrifter i afhandlinger.
Kritikere er ikke sladrehanke
Det er altså ganske almindeligt, at der fremkommer kritik af videnskabelige arbejder på nettet.
Jeg har for nylig her på Forskerzonen omtalt et tilfælde, hvor en kinesisk forsker, som emigrerede til USA hjulpet af tidligere præsident Donald Trumps forhenværende rådgiver Steve Bannon, skrev en fup-artikel om, at COVID-19 var konstrueret på ordrer fra den kinesiske regering.
En side-for-side bedømmelse, udført af verdenskendte forskere fra Johns Hopkins Universitetet i USA, gendrev fup-artiklen.
Hvad så med den situation, der er beskrevet ovenfor, hvor der er tale om åbenlyst dygtige forskere, der for længst har fået deres akademiske titler ved indlevering af afhandlinger? De er jo netop ikke taget i uredelighed, sådan som det var tilfældet i eksempelvis Milena Penkowa-sagen, hvor der var fiflet med resultater.
Det er derimod en ærgerlig fejl, som blev opdaget og ikke mindst erkendt lidt sent.
Er de forskere på AU, som pressede på for en forklaring, da ikke sladrehanke, når de fremfører kritik af en publiceret artikel? Og kan man overhovedet gøre det mod en kollega på samme institution?
Nej til det første – det er som nævnt en essentiel del af videnskaben. Og ja til det andet; selvfølgelig kan man det, og også her er der systemer til at opfange det.
En whistleblower-ordning hjælper kritikerne
Jeg har i en årrække været medlem af Akademisk Råd ved universitetet og et enkelt år været formand for underudvalget under Health. Herfra kan jeg berette, at man for snart otte år siden indførte noget, som ligner en whistleblower-ordning.
Den skal netop sikre at forskere, yngre som ældre, som nærer mistanke om små eller store fejl eller sågar uredelighed, har en sikker vej at gå, som ikke indebærer, at de kommer under angreb for at fremføre kritik.
Den har mig bekendt fungeret helt efter hensigten, hvis vi ser bort fra tilfældet med Flemming Besenbacher og dekanen ovenfor.
Hvad der også er uheldigt ved mailtråd-sagen er, at en tidligere undersøgelse på Aarhus Universitet af omgangstonen blandt medarbejderne og den efterfølgende kampagne for at forbedre selvsamme omgangstone, i ovenstående tilfælde åbenbart har været for døve øren.
Den gode omgangstone bør være en selvfølgelighed, uanset om man er ph.d.-studerende eller professor.
Ligeledes er og bør det være en selvfølgelig, at ethvert universitet skal opfordre til og støtte al form for sund skepsis og kritik overfor publicerede data – skepsis er en del af videnskabens DNA.
Under kommentaren her kan du finde svar fra dekanen og den forsker, hvis studie er trukket tilbage.
\ Kilder
- Peter Hokland (AU)
- Jacob Shersons profil (AU)
- Kristian Pedersens profil (AU)
- 'Exploring the quantum speed limit with computer games', Nature (2016), DOI: 10.1038/nature17620
- 'Crowdsourcing human common sense for quantum control', American Physical Society (2021), DOI: 10.1103/PhysRevResearch.3.013057
- 'Kritik af forskerfejl vakte dyb vrede: Kritikere blev kaldt »redeskidere« og »bavianer«, som skulle have tape for munden', Berlingske (søndag d. 17. januar 2021)
\ Forskeren Jacob Shersons version af sagen
Før publicering af ovenstående kommentar har Forskerzonen forevist den for Flemming Besenbacher, dekanen og den forsker, hvis Nature-artikel blev trukket tilbage.
Besenbacher har sagt, hvad han har at sige i Berlingske, hvor han har beklaget sit »bramfri« ordvalg, men fastholder, at kritikerne handlede »ukollegialt«.
Kristian Pedersen, dekanen for det Naturvidenskabelige Fakultet på Aarhus Universitet, svarer således:
»Jeg vil gerne endnu en gang beklage min bemærkning. Den var ikke var møntet på nogen specifikt. Min ytring var et udtryk for min personlige frustration over manglende afklaring og fastfrosset dialog mellem parterne i sagen. Det var på ingen måde en acceptabel bemærkning, og jeg har undskyldt og fortryder, at jeg skrev sådan i mailen. Det er helt centralt for mig, at vi har faglig dialog mellem forskere på universitetet og at det foregår i en ordentlig tone og med gensidig respekt, så det fører til faglig fremdrift«.
Jacob Sherson, professor MSO ved Institut for Fysik og Astronomi, Aarhus Universitet, og én af hovedforfatterne bag Nature-artiklen, giver herunder sin version af sagsforløbet.
Sherson: Vi har handlet efter råd fra førende eksperter
Sagen om tilbagetrækningen af vores Nature-artikel har givet anledning til diskussioner af forskningsfrihed, eksterne fondes indflydelse på universiteterne og korrekt håndtering af fagfællekritik og fejl i forskning.
Alle disse diskussioner – herunder ovenstående kommentar af Peter Hokland – er både relevante og aktuelle i dagens forskningslandskab.
Jeg finder det dog uheldigt, at de tager udgangspunkt i Berlingskes, i min optik, lettere ensidige historiefortælling. Derfor vil jeg i det følgende kort opridse nogle af sagens mindre dækkede aspekter.
I 2016 publiceredes vores artikel med hovedpointen, at man ved hjælp af spilleres input kan løse kvantemekaniske problemer bedre end med rene, standardalgoritmer (Videnskab.dk skrev om vores resultater her).
I 2017 præsenterede den hollandske kvantefysiker Dries Sels en kritik, der med hans og Berlingskes ord satte hele vores projekt »på gyngende grund«.
Hans kritik blev dog allerede i 2017 pure afvist af tre internationale fagfæller blandt andet med begrundelsen, at hans arbejde ikke var overraskende i forhold til vores resultater, og at det var »unfair«, at han retoucherede vores bedste algoritmer fra Nature-artiklen ud af sin præsentation.
Vi blev af eksperter på kvantekontrol-feltet rådet til ikke at indgå i en offentlig mudderkastning, men i stedet at det eneste holdbare faglige svar ville være at lave et nyt studie med flere spiludfordringer og flere algoritmer.
Dette studie er publiceret i januar 2021 og bekræfter hovedpointen fra vores oprindelige arbejde. Sideløbende blev Sels’ argumentation over de næste to år kritiseret både af flere internationale eksperter og i flere omgange af fakultetets rådgiver for ansvarlig forskningspraksis.
»En faglig kommunikation, der er gået helt skævt«
I april 2019 fremlagde AU-datalogen Allan Grønlund en langt mere grundig numerisk undersøgelse af problemet, som egentlig kunne have været medvirkende til en hurtig afklaring af de faglige uoverensstemmelser.
Desværre valgte Grønlund at præsentere sine resultater som en ’verifikation’ af Sels’ kontroversielle arbejde.
Jeg foreslog med det samme, at vi sammen kunne publicere en afklarende redegørelse, men den mudrede sammenblanding af Grønlunds lødige, konkrete numeriske arbejde og Sels’ konfrontatoriske og misvisende generelle anklager førte desværre til et efterfølgende forløb, der med Praksisudvalgets ord »har karakter af en faglig kommunikation, der er gået helt skævt og har skabt personlig mistillid mellem parterne«.
At vi ikke formåede at etablere en åben og gensidigt respektfuld faglig dialog er min største fortrydelse i hele dette forløb, fordi vi sammen kunne have opdaget fejlen, afdækket fejlens betydning og være kommet videre til den interessante faglige dialog.
Sammenfattende er der altså – set fra mit perspektiv – en verden til forskel mellem det faktiske forløb og Berlingskes fremstilling af, at både vi og ledelsen på Aarhus Universitet i tre år udviste passivitet overfor en lødig faglig kritik.
Jeg kunne have gjort ting anderledes
Til sidst mangler vi lige den vigtige krølle med både Flemming Besenbachers og dekan Kristian Pedersens farverige sprogbrug.
Det er væsentligt at forstå, at udtalelserne ikke er møntede på de to faglige kritikere, men derimod tre interne kritikere, der med egne ord ikke har »en holdning til det faglige« og i stedet i diverse fora slog på tromme for »at god videnskabelig praksis må være, at en sådan faglig uenighed føres som en artikel/kommentar udsat for fagfællebedømmelse«.
Vi havde ikke lyst til at give en kortsigtet kommentar på Sels’ kritik, fordi det dårligt kunne gøres, uden at vi rejste en meget alvorlig anklage om tvivlsom forskningspraksis overfor Sels.
Det ønskede vi ikke at udsætte en ung forsker for i en sag, som på daværende tidspunkt ikke tiltrak sig nogen form for opmærksomhed andre steder end på Aarhus Universitet.
Som detaljeret ovenfor har vi jo netop i stedet, efter råd fra førende eksperter på feltet, fulgt deres overordnede forslag i gennem hele forløbet – bare måske ikke på den måde de ønskede sig.
For mig handler sagen derfor ikke om god overfor dårlig videnskabelig praksis, men om en rodet sammenblanding af forskellige faglige diskussioner og eksterne parters forslag til forskningpraksis.
Det handler heller ikke om retten til at rejse en faglig kritik, men nærmere om pligten til at lytte – også hvis svaret ikke er det, man kan lide.
Det er samtidig en påmindelse om, at man det er meget svært at fremsætte lødig forskningsmetodisk kritik, hvis man ikke samtidig er villig til at sætte sig ind i de faglige nuancer.
Med bagklogskabens briller kan jeg bestemt nu finde eksempler på, hvad jeg kunne have gjort for at afmontere den fastlåste kommunikation.
Graden af gensidige misforståelser har givet anledning til væsentligt pres og frustration, som blandt andet resulterede i, at jeg blev stress-sygemeldt i sommeren 2020.
Uden at billige, kan jeg derfor godt forstå Flemming Besenbachers fortalelse i et øjeblik af voldsom indignation over det uretfærdige i miskommunikationen.
