Forskere afslører grove fejl i nyeste Penkowa-forskning

Det skabte overskrifter, da Milena Penkowa for et par år siden kunne fortælle, at hun officielt havde gjort comeback som forsker.

Milena Penkowa blev i 2010 dømt for blandt andet dokumentfalsk og i 2012 kendt skyldig i alvorlige brud på videnskabelig praksis. Siden blev hun frakendt sin doktorgrad fra Københavns Universitet.

LÆS OGSÅ: Forskere: Sådan snød Penkowa med sine data

Men i december 2016 meldte hun sig tilbage i forskningsverdenen med en videnskabelig artikel i tidsskriftet Supportive Care in Cancer.

Artiklen beskriver et pilotstudie - altså en indledende undersøgelse - med mineralet bismuth og konkluderer, at det mindsker bivirkninger af kemoterapi og strålebehandling.

Studiets konklusioner har Penkowa fortalt om på en hjemmeside, hvor hun sælger rådgivning om, hvordan man kan leve sundt for at modvirke kræft og undgå lidelser eller for at leve bedre efter en kræftdiagnose.

»Min seneste forskningsartikel påviser, hvorledes mineralet bismuth (bismuth-tabletter) reducerer alvorlige bivirkninger til kemoterapi hos kræftpatienter,« lyder det blandt andet på hjemmesiden.

»Der er noget åbenlyst helt galt«

Da Videnskab.dk i 2017 talte med Milena Penkowa om hendes resultater, garanterede hun, at de holdt vand. Hun fortalte, at de var gennemtjekket af hende selv, af medforfatteren Per Boye Hansen, af studenter og af en uafhængig statistiker:

»Man gennemtjekker altid tingene en ekstra gang i udgangspunktet, men det er klart, at vi her har gået med livrem og seler, for der skal bare ikke være noget at komme efter,« lød det fra Milena Penkowa.

Nu tegner en række forskere et helt andet billede af Milena Penkowas forskning og dermed af bismuth som behandling.

I alt har fem uafhængige forskere med indsigt i statistik set nærmere på udregningerne og når frem til en enslydende konklusion: Det er umuligt at genskabe Penkowas resultater.

Samtidig er en række oplysninger og tal i studiet decideret forkerte, konstaterer forskerne.

»Der er noget åbenlyst helt galt. Vi har brugt samme metode til de samme data, som de beskriver i den videnskabelige artikel – men når man bruger den, får man nogle markant andre resultater, end de skriver.«

»Vores konklusioner ville have været helt anderledes, hvis vi havde publiceret det samme studie,« melder Claus Thorn Ekstrøm, professor i biostatistik på Institut for Folkesundhedsvidenskab ved Københavns Universitet.

Claus Thorn Ekstrøm har set nærmere på Penkowas studie i samarbejde med kollegerne Peter Dalgaard, professor i statistik, og Dorte Kronborg, lektor i statistik, begge ved Copenhagen Business School (CBS).

Du kan selv lave ét af de simple regnestykker, som hurtigt afslører fejl. Se faktaboksen i bunden af artiklen: »Regn selv efter«.

Grundige beskrivelser er lette at gentage

Claus Thorn Ekstrøm roser Penkowa-studiet for at være både velskrevet og grundigt i sin beskrivelse af, hvordan Milena Penkowa og Per Boye Hansen har undersøgt effekten af bismuth på bivirkninger efter kemoterapi og strålebehandling.

Problemet er, at studiet er lavet på ganske få patienter, som enten får bismuth eller et uvirksomt stof, placebo. Små grupper giver som regel stor usikkerhed ved konklusionerne.

LÆS OGSÅ: Ikke al forskning giver lige meget evidens: Lær at skelne

Alligevel konkluderer Penkowa og Hansen, at de finder en solid effekt af bismuth.

Det skyldes ifølge Claus Thorn Ekstrøm, at de opgiver helt forkerte tal som resultater af deres beregninger.

»I nogle tilfælde sammenligner de en gruppe på 4 mennesker, der har fået bismuth, med en gruppe på 5 mennesker, som har fået placebo.«

»Det er supersmå grupper med kæmpestor usikkerhed, men alligevel konkluderer man, at bismuth virker betragteligt bedre end placebo. Allerede dér springer det i øjnene på en statistiker,« fortæller Claus Thorn Ekstrøm.

»Vi har prøvet at regne løs og gætte på, hvordan man kan nå frem til deres resultater. Men det er helt umuligt,« siger han.

Mønt kaster lys over kritikken

For at få en lidt mere konkret ide om, hvad der er på spil, skal du forestille dig, at du kaster det, forskerne kalder en ’fair’ mønt; altså en mønt, som med lige stor sandsynlighed lander på enten plat eller krone.

Kaster du mønten 10.000 gange, er der god sandsynlighed for, at den vil være landet på plat i cirka halvdelen af tilfældene og krone i den anden halvdel.

Men skærer du dit forsøg ned til 10 kast med mønten, bliver resultatet pludselig langt mere tilfældigt. Måske lander mønten på plat 6 ud af 10 gange. Måske 7 ud af 10.

Statistiske beregninger vil dog vise dig, at det er usikkert at konkludere sikkert ud fra dit forsøg, at din mønt altid vil lande mere på plat end på krone, netop fordi du har kastet mønten så få gange.

Forskerne bider mærke i, at tilsvarende store usikkerheder i Penkowa-studiet er helt forsvundet i centrale tal, som bliver lagt frem – i forskningsverdenen kaldet p-værdierne.

Det får konklusionerne til at fremstå langt stærkere, end de er. (Se figur og tekst herover.)

Milena Penkowa har i flere mails afvist at besvare forskernes kritik på Videnskab.dk. Det vender vi tilbage til.

Professor: Besynderligt, at artiklen ikke er trukket tilbage

På Aarhus Universitet underviser Palle Villesen i statistik, som han også bruger dagligt i sin forskning i medicin.

Han har konstateret helt de samme fejl i Penkowa-artiklen, som han nu bruger i sin undervisning til at illustrere, hvordan man skal undlade at lave statistik.

»Jeg skal ikke kunne afvise, at de bare har lavet en regnefejl, men jeg kan ikke genskabe den.«

»Jeg vil ikke anklage nogen for at gøre noget med vilje eller lave noget, der er uredeligt, men jeg ville gerne se de beregninger, der ligger bag de resultater,« bemærker Palle Villesen, lektor på Center for Bioinformatik og Institut for Klinisk Medicin ved Aarhus Universitet.

Professor Peter Reinhard Hansen bruger blandt andet statistik i sin forskning inden for økonomi ved University of North Carolina i USA.

Da han hørte om andre forskeres kritik af Penkowas artikel, tvivlede han først på, at det kunne stå så grelt til. Men efter at have læst studiet, blev al tvivl fjernet. Det har blandt andet fået ham til at kommentere på Twitter, at han mener, studiet bør trækkes tilbage.

Penkowa (infamous for fabricating data from rats that never existed) published "novel" findings in Supportive Care in Cancer. With very small sample size, n=25+25, authors claimed many stunningly significant results. And indeed, they were proven wrong. Why is paper not retracted? pic.twitter.com/pchDup5E7N

— Peter R. Hansen (@ProfPHansen) August 28, 2019

I en mail til Videnskab.dk uddyber Peter R. Hansen:

»Fejlene er himmelråbende åbenlyse. Jeg har ikke set nogen publiceret artikel, hvor de empiriske resultater er så åbenlyst forkerte som i dette tilfælde. Jeg kender naturligvis ikke alle detaljer, men det ser højest besynderligt ud, at artiklen ikke er blevet trukket tilbage,« skriver han.

Fusk eller blot fuld af fejl?

Samtlige forskere, som Videnskab.dk har talt med, fortæller, at det burde have været ganske enkelt at opdage de mange fejl i studiet for fagfæller, som har læst Penkowas videnskabelige artikel igennem, før den blev udgivet – i det såkaldte peer review.

»Det er sådan set ret let at se, at der er foregået noget mærkeligt, for alle konklusionerne er forkerte,« bemærker Claus Thorn Ekstrøm.

Af samme årsag sendte Claus Thorn Ekstrøm og hans to kolleger i januar 2017 deres kritik af Penkowa-artiklen til tidsskriftet Supportive Care in Cancer, som har publiceret Penkowas arbejde.

»Vi kan ikke direkte afkode, om artiklen er fusk eller blot fejlbehæftet, men én af forfatterne har en forhistorie med påstået videnskabelig uredelighed, og p-værdierne i artiklen passer ganske enkelt ikke med data,« skriver forskerne konstaterende i en korrespondance, som Videnskab.dk har fået indsigt i.

LÆS OGSÅ: Hvad er P-værdi, og hvad betyder statistisk signifikans?

Trods talrige rykkere vender tidsskriftet først endelig tilbage med et svar i juni måned, altså fem måneder senere.

Kritikken kan blive bragt på et senere tidspunkt i tidsskriftet, hvis forskerne ellers kan ændre ordlyden, så der bliver lagt mindre op til konflikt, lyder meldingen.

Det kom bag på forskerne, at tidsskriftet nærmere reagerede på ordlyden end på indholdet: at studiets konklusion er forkert.

»Vi har ikke noget udestående med Milena eller andre. Vi reagerede kun, fordi det var så åbenlyst forkert, og når man falder over det som statistiker, er det klart, at man må reagere,« siger Claus Thorn Ekstrøm.

Claus Thorn Ekstrøm tilføjer, at det har betalt sig, at han og kollegerne brugte tid på at regne tallene efter, skrive kritikken af Penkowas studie til tidsskriftet og tage kampen for at få kritikken udgivet – hvilket den blev i sidste ende (se gratis version af forskernes kritik her):

»Studiet er et godt eksempel, som vi nu bruger i undervisningen, på, hvordan man ikke skal gøre tingene. På den måde har vi fået noget ud af det,« siger Claus Thorn Ekstrøm.

Penkowa: Sagen er lukket med tidsskriftet

Ifølge Milena Penkowa er sagen afsluttet for længst, og der er intet at komme efter.

I en mail til Videnskab.dk skriver hun, at hun har besvaret kritikken fra de danske forskere i en intern korrespondance med tidsskriftet Supportive Care in Cancer.

»Hele korrespondancen, som forløb hen over en del uger med skrivelser frem og tilbage inkl. fremlæggelse af rådata etc etc, foregik hos den daværende fagredaktør på tidsskriftet.«

»Vi fik, som det er kutyme, kritikken tilsendt fra redaktionen og således besvares denne også til redaktionen, indtil dennes fagredaktion har fået besvaret sine spørgsmål, og kritikken er imødegået,« skriver Milena Penkowa i mailen til Videnskab.dk.

Hun tilføjer: »Der er ikke tale om en offentlig korrespondance.«

Hverken Claus Thorn Ekstrøm, Peter Dalgaard eller Dorte Kronborg har set Milena Penkowas svar til tidsskriftet. De er heller ikke blevet orienteret om, at svaret overhovedet eksisterer.

Adspurgt, om Videnskab.dk kan få lov til at se korrespondancen eller få hendes eget svar på kritikken, lyder det fra Milena Penkowa, at hun ikke har mere at tilføje.

»Vi har besvaret kritikken i det relevante forum, som ikke er Videnskab.dk,« skriver hun i en sidste mail.

Det har ikke været muligt at få en kommentar fra Milena Penkowas medforfatter på studiet, Per Boye Hansen.

Tidsskrift forholder sig tavst

I skrivende stund har tidsskriftet Supportive Care in Cancer intet offentliggjort, som enten tager stilling til Peter Dalgaard, Claus Thorn Ekstrøm og Dorte Kronborgs kritik i egne spalter, eller som bare gør opmærksom på, at den er blevet bragt.

Ingen bemærkninger om mulige fejl findes i onlineversionen af Penkowas artikel, der stadig ligger i sin oprindelige form på tidsskriftets hjemmeside.

Kritikken fra Claus Thorn Ekstrøm og hans kolleger er ikke engang nævnt eller linket til fra Penkowas artikel – noget, Claus Thorn Ekstrøm betegner som dårlig stil, da åbenhed i videnskabelige diskussioner er helt essentiel for at få god evidens frem.

Palle Villesen er helt enig:

»Det er jo helt vanvittigt. Det er jo ikke bare en kritik, de kommer med. Tallene passer ikke med resultaterne, som de hævder. De er simpelthen forkerte, og det står ikke til diskussion. Det skal selvfølgelig rettes – som det mindste,« mener Palle Villesen.

Peter R. Hansen fortæller, at han ligesom de øvrige forskere bruger Penkowas artikel i sin undervisning - til at illustrere, at bare fordi en videnskabelig artikel har været gennem peer review, betyder det ikke, at informationerne i den er rigtige.

Det har ikke været muligt at få en kommentar fra chefredaktør for tidsskriftet Supportive Care In Cancer, Fred Ashbury.

Efter flere henvendelser melder forlaget bag tidsskriftet, Springer Nature, i en mail til Videnskab.dk, at det nu vil »se nærmere på bekymringerne« og vender tilbage, når det kan.

LÆS OGSÅ: Penkowa: Sådan slipper fusk gennem videnskabelige tidsskrifter

LÆS OGSÅ: Manifest: Læg mærke til, hvor pengene kommer fra