Sensationelt orkanstudie i strid modvind

Historien om, at amerikanske forskere kunne påvise, at orkaner med pigenavne er mere dødelige end orkaner med drengenavne, gik i starten af juni verden rundt på forskellige medier - og blev også omtalt kort her på Videnskab.dk.

Det sensationelle studie blev publiceret i det anerkendte tidsskrift PNAS, men forskerne bag studiet møder nu modvind af orkanstyrke, fordi deres resultater kun er gældende ved brug af en bestemt metode.

»Det her studie skal minde os om, at forskere skal sikre sig, at deres resultater ikke afhænger af metoden. Hvis dine resultater afhænger af metoden, så er de ikke gode nok. Det her studie er komisk urobust,« siger Frederik Hjorth, der er ph.d.-studerende ved Institut for Statskundskab på Københavns Universitet.

Standardanalyse gav forkert resultat

Forskerne bag orkanstudiet har taget udgangspunkt i data fra orkaner i Amerika gennem de seneste seks årtier. De har dog kun påvist effekten for de mest alvorlige orkaner.

Forskerne brugte en statistisk model til at finde sammenhængen mellem antal dødsfald og navnet på orkanerne. I stedet for at vælge det statistiske standardværktøj 'lineær regression' (OLS), brugte de en såkaldt 'count'-model.

Frederik Hjorth forklarer, at 'count'-modeller er et kendt værktøj, men at det er atypisk at bruge til den slags dataanalyse.

»Forskerne ville gerne se, at der var en sammenhæng mellem kønnet på orkanen og antallet af dødsfald, og den sammenhæng fandt de ikke ved at bruge OLS. Det har andre forskere efterfølgende testet,« siger han og tilføjer, at den data, forskerne har brugt, er en kende misvisende.

»Man begyndte først at give orkanerne drengenavne efter 70'erne. De burde derfor indsnævre deres studie til efter 70'erne, fordi man kun havde orkaner med pigenavne før det. Men hvis man kun forholder sig til tiden efter 1970, så forsvinder deres resultat også,« siger han og påpeger, at de i forvejen kun har brugt data fra 94 orkaner.

Færre dræbte ved drenge-orkan

Det er ikke kun Frederik Hjorth, der kritiserer analyseværktøjet, som forskerne har anvendt til at analysere deres data.

I et blogindlæg har professor i sociologi Jeremy Freese fra Northwestern University i Amerika listet en række punkter, hvor han mener, at resultaterne ikke helt giver mening.

»Forfatterne giver som eksempel i deres studie, at hvis en orkan ved navn Eloise dræbte 42 mennesker, ville samme orkan ved navn Charley kun dræbe 15. Med andre ord, hvis det var sandt, ville de fleste dødfald ved alvorlige orkaner med pigenavne kunne være undgået, hvis orkanen havde et drengenavn,« skriver han, og kalder forudsigelserne helt hen i vejret.

Sensationel forskning oversælges

Men hvis der er så mange mangler i studiet, hvordan har det så fået en plads i det fine og anerkendte tidsskrift Proceedings of the National Academy of Sciences of the United States of America (PNAS)?

Frederik Hjorth forklarer, at des mere sensationelle og opsigtvækkende dine resultater er, des større chance er der for, at din forskning kan få en plads i et anerkendt tidsskrift.

»Hvis man sidder med et resultat, der kan sminkes til at se bedre ud, så vil man oversælge det. Forskernes eget universitet skrev blandt andet i en pressemeddelelse, at forskere undersøger seks årtiers orkaner. Det lyder af mere, selvom der kun er 94 orkaner med i studiet. På den måde bliver forskning sexet op,« siger han.

»Det er et meget fesent studie«

De forskellige mangler i studiet var dog ikke blevet fundet, hvis ikke forskerne var blevet bedt om at gøre deres data tilgængelige, så andre forskere kunne undersøge resultaterne.

»Forskerne har publiceret nogle resultater, som er skrøbelige over for metoden. Men i denne sag har det videnskabelige samfund fungeret godt. Der er fremsat et studie, og det er blevet diskuteret, og der er bred konsensus om, at resultatet ikke holder,« siger Frederik Hjort og påpeger, at der ikke er en direkte 'smoking gun' i den her sag.

»Der er ikke noget, som er direkte forkert, men mange af metodevalgene er tvivlsomme, og resultaterne er ekstremt skrøbelige over for hvert eneste af dem. Det er et meget fesent studie,« lyder hans vurdering.

Forfatterne bag studiet har på baggrund af kritikken skrevet en kommentar, som blandt andet blev bragt i The Washington Post.

»Selvfølgelig kan enhver model blive forvekslet eller tolket forkert. Det er problematisk, og det er derfor vigtigt at bruge den rigtige model, når man skal analysere data om dødsfald. Vi fandt, at OLS-modellen ikke er hensigtsmæssig i dette tilfælde,« skriver orkanforskerne i The Washington Post.