Fup-forsker: Jeg snød millioner til at tro, at chokolade slanker

»Chokolade-spisere holder sig slanke!«

Sådan lød det glade budskab på forsiden af Europas største dagblad, tyske Bild, i slutningen af marts 2015, og nyheden bredte sig hurtigt til netmedier, tv-programmer og aviser i mere end 20 lande:

Et hold tyske forskere anført af ph.d. Johannes Bohannon fra Institute of Diet and Health i Mainz havde fundet ud af, at folk taber sig 10 procent hurtigere, hvis de spiser 42 gram mørk chokolade hver dag,

Men bag de appetitvækkende overskrifter ligger elendig videnskab, der på ingen måde underbygger påstanden om, at chokolade slanker.

Institute of Diet and Health er desuden en falsk forskningsinstitution, og forskeren Johannes Bohannon eksisterer heller ikke.

I virkeligheden er det dårlige chokolade-studie et bevidst forsøg på at udstille videnskabelige tidsskrifter og journalisters ukritiske formidling af forskningsresultater.

Det afslører videnskabsjournalisten John Bohannon, der er en af mændene bag mediestuntet, i et udførligt indlæg på bloggen io9.

Forsøg designet til at give falske positiver

Historien om fup-nummeret begynder tilbage i december 2014, hvor et par tyske tv-journalister ringer til John Bohannon.

De er i gang med at lave en dokumentarfilm og vil have Bohannons hjælp til at demonstrere, hvor nemt det er at forvandle dårlig ernæringsvidenskab til store overskrifter i medierne.

John Bohannon er i forvejen kendt som lidt af en ekspert i at afsløre mangler i de systemer, der formidler videnskab, efter han to år tidligere havde lavet en fuldstændig opdigtet forskningsartikel og fik den accepteret af mere end halvdelen af de åbne videnskabelige tidsskrifter, som den blev sendt til.

Denne gang opdigter John Bohannon og hans kumpaner dog ikke deres chokolade-studie. De slår sig sammen med en læge og en statistiker og laver en rigtig undersøgelse. Men de designer undersøgelsen på en måde, så de har gode chancer for at få et resultat, der er statistisk signifikant, selvom det er totalt tilfældigt.

LÆS OGSÅ: Fuptidsskrifter kan narre unge forskere

Chokolade-spiserne tabte sig faktisk hurtigst

De finder 15 forsøgspersoner og opdeler dem i 3 grupper, der bliver sat til at spise efter forskellige diæter igennem 21 dage:

1. Den ene gruppe bliver sat på en diæt med lavt indhold af kulhydrater.
2. Den anden gruppe får den samme diæt plus 42 gram mørk chokolade dagligt.
3. Den tredje gruppe, kontrolgruppen, forsætter med med at spise, som de plejer.

I løbet af de tre uger bliver forsøgspersonerne målt på 18 forskellige parametre, og bagefter analyserer statistikeren alle tallene for at se, om der er forskel mellem grupperne på nogle af områderne.

Og bingo: Det viser sig, at chokolade-spiserne har tabt sig mere end de andre grupper, og resultatet er såkaldt statistisk signifikant – altså, at der er under fem procents risiko for, at data er tilfældige.

Desuden er chokolade-spisernes kolesteroltal bedre, og de scorer højest på en undersøgelse af deres velbefindende.

LÆS OGSÅ: Det mest berømte psykologistudie nogensinde kan være fup

»En lille, beskidt videnskabshemmelighed«

Studiet viser altså rigtig nok, at chokolade-spiserne tabte sig hurtigst. Så hvorfor kan vi alligevel ikke stole på resultatet?

John Bohannon svarer selv i blogindlægget:

»Her er en beskidt lille videnskabshemmelighed: Hvis du måler på et stort antal ting om en lille gruppe mennesker, er du næsten altid garanteret at få et 'statistisk signifikant' resultat. Tænk på målingerne som lottokuponer. Hver enkelt har en lille chance for at give gevinst i form af et 'signifikant' resultat, som vi kan skabe en historie om og sælge til medierne. Jo flere kuponer du køber, des større chance har du for at vinde,« skriver John Bohannon.

Med målinger på 18 forskellige variable - herunder søvnkvalitet, velbefindende, kolesteroltal og niveauet af natrium i blodet - er der altså gode chancer for, at én af dem 'giver gevinst', og det er den metode, der gør studiet utroværdigt, fortæller Niels Richard Hansen, der er professor i statistik ved Institut for Matematiske Fag på Københavns Universitet.

»Hvis du måler på en lang række forskellige ting, selvom der ikke er nogen forskel imellem de forskellige grupper, så kan det være, at der er en af de ting, du måler på, der ved et tilfælde ser ud, som om at der er en forskel på,« siger Niels Richard Hansen.

I chokolade-forsøget er det helt tilfældigt, at det netop er udviklingen i vægten, der er det parameter, som chokolade-spiserne adskiller sig på.

»Vi vidste ikke, hvad der ville give udslag – overskriften kunne have været, at chokolade giver bedre søvn eller sænker blodtrykket – men vi vidste, at vores chancer for at få mindst et 'statistisk signifikant' resultat var temmelig gode,« skriver John Bohannon.

LÆS OGSÅ: Når fupvidenskab bliver statsautoriseret

Statistisk metode er ikke valid

I den videnskabelige artikel fremlægger fup-forskerne det, som om at de på forhånd havde valgt at fokusere på vægten.

De skriver ikke noget om, at de også målte på 17 andre parametre og først efterfølgende udvalgte vægten på grund af udsvinget, hvilket er en metode, der ikke er statistisk valid ud fra forsøgsopstillingen, konstaterer Niels Richard Hansen.

»Når du kigger på 18 forskellige målinger og behandler hver enkelt af dem, som om at du kun kiggede på én måling, så er det ikke en valid statistisk procedure, de bruger, og det skjuler de så i artiklen,« siger statistik-professoren.

Det er blandt andet det, der adskiller chokolade-studiet fra troværdig forskning.

»Når man laver seriøse forskningsprojekter, er det fuldstændig specificeret på forhånd, hvad man måler, og hvordan man analyserer på det. Der måler man ikke på alle mulige ting og vælger det ud, som det viser sig, at der er en forskel på bagefter,« siger Niels Richard Hansen.

LÆS OGSÅ: Danske forskere udgiver i fuptidsskrifter: Publiceringspres får skylden

Få forsøgsdeltagere giver tilfældige udslag

Kristian Hvidtfelt Nielsen, der forsker i videnskabshistorie og -formidling, betegner kvaliteten af studiet som »meget ringe«.

»Det gør de jo også en pointe ud af. For det første er det en meget lille population på 15 personer, og så har de lavet nogle forsøg, hvor de udelukkende har været ude efter at få nogle positive resultater,« siger Kristian Hvidtfelt Nielsen, lektor ved Institut for Matematik og Center for Videnskabsstudier på Aarhus Universitet.

»Når populationen er så lille, og der sker en ændring af vægtforholdet hos den ene, kan det være et udslag af tilfældigheder. Det har ikke nødvendigvis noget med chokoladen at gøre,« fortsætter Kristian Hvidtfelt Nielsen.

»Det er den type af tilfældigheder, som ikke skyldes behandlingen, men som skyldes ikke-kontrollerbare parametre, og det kan udjævnes, hvis du har en stor population.«

LÆS OGSÅ: Spot fup på Facebook med enkelte greb

Tidsskrifter flokkes for at udgive fup-forskning

Fup-forskerne er godt klar over, at deres chokoladeforskning er så dårlig, at den videnskabelige artikel om undersøgelsen ikke kan blive optaget i et videnskabeligt tidsskrift, hvor den skal godkendes af fagfæller – et såkaldt peer review.

»Der er en masse ting, de udelader i artiklen. Såvidt jeg kan se, fortæller de ikke, hvor store deres grupper er, og der er ingen metodisk beskrivelse af de analyser, de laver. Der er kun overfladiske rapporteringer, og enhver statistisk reviewer ville sætte spørgsmålstegn ved en masse af de ting, der står i den artikel,« siger Niels Richard Hansen.

For at undgå peer review indsender John Bohannon den videnskabelige artikel til 20 tidsskrifter, der har ry for at være ukritiske, og indenfor 24 timer bliver artiklen accepteret af adskillige.

John Bohannon vælger tidsskriftet International Archives of Medicine, hvis direktør i en email kalder artiklen for »fremragende«.

To uger efter at have betalt 4.475 kroner til tidsskriftet bliver artiklen publiceret, uden at et ord er blevet ændret.

Det er ikke overraskende, for der er de seneste år kommet mange nye åbne tidsskrifter til, hvor det er gratis at læse med, men hvor forskerne til gengæld betaler et beløb for at udgive artikler, og det giver tidsskrifterne incitament til at lade så mange artikler som muligt komme igennem, fortæller Kristian Hvidtfelt Nielsen.

»Tidsskriftsverdenen er blevet meget mere broget, så der findes en underskov af mere eller mindre lødige tidsskrifter, som tilbyder at publicere stort set hvad som helst for penge,« siger Kristian Hvidtfelt Nielsen.

»Der er mange open access tidsskrifter, som er rigtig gode, men det er nogle, der udnytter systemet og laver deres eget tidsskrift og kalder det et eller andet fint, så det lyder videnskabeligt. Men i virkeligheden er det bare et sted, hvor nogle sidder og tjener penge på at sende forskning ud, som overhovedet ikke er blevet kritiseret af fagkollegaer.«

LÆS OGSÅ: Sådan gennemskuer du dårlig forskning

Store medier bringer ukritisk historien

Da artiklen er publiceret, er næste skridt for Bohannon at få historien i medierne. Han skriver derfor en pressemeddelelse, der bliver sendt til tysk- og engelsksprogede nyhedsbureauer, samt direkte til tyske medier, og kort efter er der bid.

Bild, Daily Star, Irish Examiner, Huffington Post, Times of India og tv-programmer i USA og Australien er blandt de medier, der bringer historien.

»Det kommer ud i medierne, dels fordi det er en god historie, dels fordi Bohannon er god til at skrive pressemeddelelser og ved, hvad der sælger i forhold til journalister, og dels fordi journalisterne simpelthen ikke gør deres arbejde godt nok,« siger Kristian Hvidtfelt Nielsen.

Næsten ingen af de journalister, der kontakter Bohannon for en kommentar, spørger om, hvor mange forsøgspersoner, der har deltaget i studiet, og ingen skriver om antallet af deltagere. Der er heller ingen, der har fået andre, uafhængige forskere til at udtale sig om studiet.

Kristian Hvidtfelt Nielsen mener, at det afslører en brist i sundhedsjournalistikken.

»De journalister, der gengiver resultaterne, burde have dobbelttjekket. Hvis de har lidt fornemmelse for forskningsverdenen, så ville de hurtigt kunne finde ud af, at forskeren ikke eksisterer, at hans videnskabelige institution er falsk, og at tidsskriftet er underlødigt,« siger Kristian Hvidtfelt Nielsen.

LÆS OGSÅ: Guide: Bliv en kritisk læser af nyheder om forskning

Dårlig forskning kan skade folkesundheden

Journalisterne burde være mere kritiske, for dårlig forskning er meget udbredt, fortæller Kristian Hvidtfelt Nielsen.

»Det kan være et problem for dem, der ikke kender forskningsverdenen indefra, og som ikke kan skelne mellem skæg og snot. Man kan i sidste ende risikere, at det vil kunne gå ud over folkesundheden. Mange vil måske sidde og tænke, at nu skal jeg bare spise en masse chokolade for at tabe vægt, og hvis det har den modsatte effekt, så kan man selv regne ud, hvad sundhedskonsekvensen bliver,« siger Kristian Hvidtfelt Nielsen.

I forskningsverdenen er problemet dog ikke særlig stort, mener han.

»Forskningen er tilrettelagt sådan, at det udjævner sig. Selvom der er nogle dårlige studier, så er der mange forskere, der arbejder på de samme problemstillinger og kan forske videre på det. Så i sidste ende kan forskningen jo sagtens blive af høj kvalitet, selvom der har været nogle mindre lødige resultater indimellem,« siger Kristian Hvidtfelt Nielsen.

LÆS OGSÅ: Statistik: Sådan fisker forskere efter resultater

Fup-studie kan skabe mistillid til forskningsverdenen

De to danske forskere mener, at John Bohannon med det karikerede, dårlige studie sætter gang i en vigtig debat, men de er ambivalente i forhold til den dramatiske, gonzo-journalistiske fremgangsmåde.

»De prøver at gøre opmærksom på nogle problemer i den videnskabelige verden, men spørgsmålet er, om man ikke er med til at blæse problemerne op til noget, som de ikke er – for eksempel ved at give et indtryk af, at der findes mere dårlig forskning, som ikke burde være publiceret, end der i virkeligheden gør,« siger Kristian Hvidtfelt Nielsen.

Det er John Bohannons håb, at eksperimentet gør journalister og læsere mere skeptiske, men det kan også skabe overdrevet mistillid til forskningen, mener Niels Richard Hansen.

»Det, at han kan komme igennem med det, kan måske give det indtryk, at hele forskningsverdenen er bundrådden, og det synes jeg er uheldigt, for det er ikke min opfattelse. Jeg synes, at vi skal diskutere de her problematikker seriøst, og vi skal øge tidsskrifternes viden om statistisk metodebrug, men det er ikke nødvendigvis ensbetydende med, at hele forskningsverdenen er gennemsyret af falsk forskning,« siger Niels Richard Hansen.

LÆS OGSÅ: Komplet vrøvl publiceret i videnskabeligt tidsskrift

LÆS OGSÅ: Quiz: Kan du gennemskue fup i nyheder om videnskab?

LÆS OGSÅ: Dette er det vigtigste spørgsmål, du kan stille i valgkampen