Hver eneste dag er nyhederne fyldt med historier om medicinske gennembrud, der vil revolutionere patientbehandlingen.
Eller også er det historien om, at den mad, der i sidste uge gav kræft, nu bør stå øverst på menuen.
Som forbruger kan man ofte sidde tilbage med en fornemmelse af 'kan det nu være rigtigt?' eller 'vent bare til næste uge, så siger de nok noget andet'.
Kylie og natarbejde
For at illustrere mediernes omtale af sundhedsstoffet søgte jeg på bt.dk, Danmarks Sundhedsavis, med søgeordet 'brystkræft' og fandt 457 artikler.
Af disse omhandlede 78 artikler hele 33 forskellige skadelige eller beskyttende faktorer for at udvikle brystkræft. (De mest hyppige emner for de 457 artikler var dog Kylie Minoque og andre kendisser!)
Artiklerne fortæller blandt andet, at højt uddannede kvinder har højere risiko for at få brystkræft, men til gengæld større chancer for at overleve sygdommen når de først har fået den! Omvendt er der for kvinder, der har født lavere risiko for at få brystkræft, men ringere overlevelses chancer.
Folinsyre og natarbejde derimod, både øger og mindsker risikoen for at udvikle brystkræft, afhængig af hvilken artikel man læser. Sidstnævnte kontrovers omtalt på videnskab.dk. Der er ikke noget at sige til, at man som læser ofte kan blive forvirret.
Jeg vil ikke kommentere kvaliteten af de ovenstående studier, men i stedet forsøge at belyse hvordan videnskaben kan levere materiale til så mange modstridende historier.
Tusindvis af studier hver eneste dag
Hver dag publiceres tusindvis af lægevidenskabelige artikler (i den medicinske database PubMed blev der publiceret over 850.000 artikler i 2009, altså over 2.300 pr. dag). Nogle af disse studier kommer i verdens fineste tidsskrifter og nogle ledsages af pressemeddelelser fra enten tidsskrifterne, forskerne eller sponsorer.
Journalisterne på forskellige nyhedsmedier skal så, blandt de tusinder af studier, udvælge dem, de vil bringe. Og da de jo ikke har tid til at læse alle studier, er det klart at pressemeddelelser kommer til at guide dem.
Endvidere skal historierne have en hvis nyhedsværdi. Så et studie der viser, at mobiltelefoner kan give hjernekræft, er jo langt mere interessant, end et studie der viser, at selleri næppe er årsag til depression. Men så længe journalisterne citerer forskning fra verdens fineste tidsskrifter er der vel ingen problemer?
En tredjedel af resultaterne er forkerte
Ikke hvis man spørger den græskfødte forsker John Ionannidis, som undersøgte de mest citerede studier i de mest anerkendte lægevidenskabelige tidsskrifter.
Han fandt, at for dem hvor der var fundet en effekt (af et nyt lægemiddel, en risikofaktor, eller lignende), var der efterfølgende studier, der viste at effekten i virkeligheden var ikke eksisterende i 1/6 af tilfældene eller meget mindre i 1/6 af tilfældene.
Altså var resultaterne fra 1/3 af den mest citerede lægevidenskabelig forskning forkert. Et af eksemplerne er hormoner til kvinder efter overgangsalderen, som man i flere år troede virkede beskyttende mod hjertekarsygdom, men som efterfølgende viste sig faktisk at øge risikoen.
Hvordan kan det gå til, når tidsskrifterne vurderer studiernes videnskabelige metoder via såkaldt peer review (uvildig bedømmelse af eksterne eksperter)? For det første er peer review-processen ikke fejlfri. Og selvom selve de videnskabelige metoder er i orden, kan de offentliggjorte studier godt nå til forkerte resultater og konklusioner.
Publikationsbias
En af årsagerne er såkaldt publikationsbias. Publikationsbias er det faktum, at studier der har vist et såkaldt statistisk signifikant resultat har større chance for at blive offentliggjort i et internationalt tidsskrift, end hvis de ikke fandt en effekt.
Det skyldes blandt andet det såkaldte 'file drawer problem'. En forsker har måske testet 20 forskellige gener og deres sammenhæng med udvikling af alzheimer. I virkeligheden er der ingen sammenhæng, men ved tilfældighedernes spil vil ét af generne i forsøgene vise sig at have en sammenhæng.
En anden forsker undersøger de samme 20 gener og finder at et andet gen har sammenhæng. Hvis forskerne nu kun indsender artikler om de gener, hvor der er fundet en sammenhæng, ville alle gener med tiden (når der er lavet nok forsøg) vise sig at have en sammenhæng, selvom der i virkeligheden ikke er en sammenhæng.
Kommercielle interesser
En anden årsag er redaktørerne på tidsskrifterne. Hvis de modtager 20 artikler om gener og alzheimers, så vil de ofte vælge at publicere den artikel, hvor der er fundet en sammenhæng, i det den jo er mest interessant (hvem gider læse 19 artikler om gener der ikke har betydning for alzheimer!).
Publikationsbias kan også opstå når forskningen er af kommerciel karakter. Eksempelvis kan producenter af økonomiske hensyn undlade at offentliggøre resultater, der viser at deres lægemidler ikke virker eller er direkte skadelige.
Erick Turner og kollegaer undersøgte randomiserede kliniske forsøg af antidepressiv medicin. De fandt, at blandt de publicerede forsøg havde 94% af dem en positiv effekt, hvorimod der blandt samtlige udførte forsøg kun var 51% positive.
Wozniacki vinder US Open!
En anden lignende årsag er blevet beskrevet af kemiprofessoren Fred Menger. »If you torture data sufficiently, it will confess to almost anything.« Forestil dig, at man har lavet en stor undersøgelse af et nyt lægemiddel, som skulle virke forebyggende mod hjertekarsygdomme.
Lægemidlet viser sig desværre ikke at have en effekt på udviklingen af blodpropper i hjertet. I stedet for at offentliggøre disse resultater, går man så på data-fisketur og finder, at lægemidlet (på grund af tilfældighedernes spil) virker fremragende mod ikke-dødelige blodpropper i hjertet hos midaldrende mandlige rygere.
Forskerne vælger så kun at offentliggøre det resultat, som om det var studiets oprindelige formål. Det svarer lidt til at man efter en tenniskamp pludselig siger, at det afgørende var skam ikke antallet af vundne sæt, men færreste dobbeltfejl for deltagere under 25 år.
Lægevidenskabelige spindoktorer
Men selv hvis alle resultater rapporteres korrekt, kan konklusionerne forvrides. Isabelle Boutron og hendes kollegaer fandt, at i over halvdelen af randomiserede kliniske forsøg, hvor resultaterne ikke viste statistisk signifikant effekt, havde forfatterne sprogligt forsøgt at krydre betydningen af resultaterne; såkaldt videnskabeligt 'spin'.
Værst var det i artikelresuméerne, de såkaldte 'abstracts', hvor det var sket i over 2/3 af artiklerne. Fordrejning af resultaterne i abstracts er ikke usædvanligt og ofte er de resultater der indgår i abstractet ikke de oprindeligt planlagte analyser, men analyser af undergrupper af patienter.
Det er særligt problematisk, da abstractet er det første man læser og mange læsere (særligt travle læger og journalister) tager det for gode varer uden at læse resten af artiklen.
Læs alt med skepsis
Værre står det formentligt til med 'spin' i pressemeddelelser, hvis formål jo er at skabe opmærksomhed, særligt hvis de er skrevet af forskerne selv. Da nogle avisartikler alene er afskrifter af pressemeddelelser, er det særligt problematisk.
Så det er ikke underligt at 'kræftens gåde' synes at være løst indtil flere gange og ny 'mirakelmedicin' jævnligt synes at have potentiale til at udrydde diverse folkesygdomme. Den nuværende morale må derfor være, at alt bør læses med en smule skepsis.
Også ovenstående.
Denne artikel er oprindeligt publiceret som et blogindlæg.
