Lær statistik og lev længere

»Gå på museum og lev længere«. Sådan lød en overskrift på DRs kulturhjemmeside (22/4 2009). Det glade budskab byggede på en svensk undersøgelse, hvor 10.000 personers helbred og kulturforbrug var blevet registreret gennem en årrække.

Undersøgelsen viste, at de, der regelmæssigt gik på museum og til koncerter, levede længere end gennemsnittet, og derfor, konkluderede artiklen, kan man altså forlænge sit liv ved at gå hyppigere på museum eller til koncert.

Det lyder jo umiddelbart ganske godt, men spørgsmålet er, om konklusionen holder. Kan man ud fra den statistiske sammenhæng mellem livslængde og kulturforbrug konkludere, at museumsbesøg mv. er årsag til den øgede livslængde? Nej, det kan man desværre ikke. Ud fra statistikken er det bestemt muligt, at museumsbesøg forlænger livet, men statistikken kan også forklares på en række andre måder.

Bruger statistikken kreativt

Måske skyldes sammenhængen, at folk, der har et godt helbred og ikke kæmper med sygdom, har mere overskud til at gå på museum og til koncerter. Eller måske skyldes både det gode helbred og det høje kulturforbrug, at folk lever en stressfri tilværelse med masser af tid og overskud.

Tallene fortæller os kun, at der muligvis er en eller anden form for sammenhæng mellem museumsbesøg og livslængde, men de fortæller os intet om, hvordan sammenhængen ser ud.

Moralen er kort sagt, at man ikke generelt kan konkludere noget om årsagssammenhænge ud fra statistiske sammenhænge. Enten må man forstå de kausale mekanismer, der er involveret (og det kommer forskerne i den oprindelige svenske undersøgelse retfærdigvis ind på), eller også må man lave et stærkt kontrolleret forsøg i stil med de randomiserede dobbelt-blindforsøg, man kender fra test af medicin.

I praksis kan det dog være meget svært at lave en tilstrækkelig kontrolleret undersøgelse, og man ser forbavsende ofte forskere, der fejlagtigt drager alt for stærke konklusioner om årsagssammenhænge – og endnu oftere ivrige videnskabsjournalister, der i forsøget på at skarpvinkle en historie lover mere end statistikken kan holde til.

Udeladelse af vigtige faktorer

Lad os tage et andet og lidt mere drilskt eksempel. For et par år siden kunne man læse den overraskende nyhed, at cykelstier øger antallet af uheld. Nyheden byggede på en undersøgelse fra Aalborg Universitet, hvor et hold forskere havde undersøgt antallet af uheld på 48 vejstrækninger, hhv. før og efter de blev udstyret med cykelsti.

Og det viste sig minsandten, at der skete flere uheld med cykler, efter cykelstierne var blevet bygget. Undersøgelsen tog imidlertid ikke højde for, om det, at der blev bygget cykelsti, påvirkede antallet eller sammensætningen af cyklister, der benyttede strækningerne.

Det er nærliggende at tænke sig, at flere cyklister – og ikke mindst svage cyklister som børn og ældre – vil vælge at køre ad veje med cykelsti frem for veje uden, og det kunne måske være en del af årsagen til de ekstra uheld.

Jeg ved det ikke, men det gør folkene bag undersøgelsen heller ikke, og derfor kan man ikke konkludere ret meget ud fra statistikken. Slet ikke, at cykelstierne har en negativ effekt på sikkerheden, eller at de gør livet som cyklist farligere. For at kunne drage den slags konklusioner på baggrund af statistisk materiale, skal der en langt mere kontrolleret undersøgelse til.

Skal man droppe sin uddannelse?

Som et sidste eksempel kan vi kigge på et interessant notat fra tænketanken CEPOS (11/3/09). Notatet tager udgangspunkt i en statistisk opgørelse over den gennemsnitlige gevinst ved at tage en uddannelse.

Af notatet fremgår det, at en filosofigrad »medfører … en livsindkomst, der er mindre end, hvis man droppede den 5-årige universitetsuddannelse og fandt et arbejde efter gymnasiet«, mens »aktuaruddannelsen er den uddannelse, der giver højest timeløn og livsindkomst.«

Problemet med den konklusion er, at det ikke er tilfældigt, hvem der vælger hvilke uddannelser. Derfor har forskellen i livsløn muligvis slet ikke noget at gøre med uddannelserne som sådan, men med at det er meget forskellige mennesker med forskellige værdier og mål for deres liv, der læser hhv. filosofi og aktuar.

Det kunne jo være, at folk, der vælger at læse filosofi, går meget lidt op i livsløn, men er meget kræsne med, hvilke job de ønsker at bruge deres liv på, mens aktuarerne i højere grad går efter guldet.

Jeg ved selvfølgelig ikke, om det forholder sig sådan, men pointen er, at det gør CEPOS heller ikke, og derfor er det ikke muligt for dem at drage de konklusioner, de gør. Så tilsyneladende har tænketanken altså begået en tanketorsk.

Pas på med statistikken

Man skal med andre ord være meget varsom, når man læser undersøgelser, der bygger på statistik. Eksemplerne ovenfor er alle varianter af det, man kan kalde selection bias, dvs. fejlslutninger, hvor resultatet af en undersøgelse (muligvis) er skævvredet som følge af den måde, hvorpå stikprøven er udtaget.

Og det er kun en ud af en lang række fejl, man kan begå, når man benytter sig af statistik. Der er mange ting, der kan gå galt, lige fra dataindsamlingen til udregningen af signifikans – og så er der selvfølgelig dem, der bevidst skævvrider tallene for at få en bestemt konklusion frem. Men det skal vi ikke komme nærmere ind på her. Interesserede læsere kan evt. kaste sig over Darrell Huffs klassiker How to Lie with Statistics.

Yderligere eksempler på misvisende brug af statistik i både videnskab og medier modtages gerne – der er desværre alt for mange af dem!

Denne artikel er oprindeligt publiceret som et blogindlæg.