Studier i stakkevis kan ikke genskabes

Er introverte bedre til at lytte end ekstroverte? Er de fleste chefer psykopater? Hvordan opstår en økonomisk krise?

Ny forskning fra samfundsvidenskaben, der dækker over alt fra psykologi og sociologi til økonomi, rammer ofte mediernes overskrifter med viden, der gør os klogere på os selv og vores samfund.

Men måske skal vi være mere varsomme med blindt at tro de friske forskningsresultater.

Et nyt studie peger på, at omkring halvdelen af studierne fra de mest velrenommerede tidsskrifter i samfundsvidenskaben ikke kan genskabes.

Det er for dårligt, siger en af forskerne bag det nye studie, til Videnskab.dk:

»Et studie skal kunne genskabes for, at man kan være sikker på resultatet. Det er en af hjørnestenene i videnskaben,« siger Jesper Wulff, professor i økonomi på Aarhus Universitet.

I studiet har de blindt udvalgt 164 studier fra de bedste tidsskrifter og forsøgt at genskabe dem, så de når samme konklusion. Det lykkes altså i halvdelen af tilfældene.

»Jeg synes personligt, at det er for lavt. Det kan vi godt gøre bedre,« siger han.

Forskere stirrer blindt på resultatet

Jesper Wulffs bidrag til studiet var blandt andet at gennemgå et tilfældigt udvalgt studie for at se, om det kunne genskabes.

I det specifikke studie havde forskerne konkluderet, at en direktør får en større løn, hvis vedkommende leder en særlig type virksomhed, der skal bruge mange penge for at træde ind i en industri – det kunne være medicinalindustrien eller byggebranchen.

Jesper Wulff gennemgik derfor data fra studiet og tilføjede nye data. Men han kunne ikke genskabe samme resultat som de forskere, der havde lavet studiet.

»Det oprindelige studie fandt en tydelig positiv effekt. Vi finder, at man ikke kan konkludere det ene eller det andet,« siger Jesper Wulff.

Jesper Wulff gætter på, at forskerne kan have stirret sig blind på et bestemt resultat.

»Hvis du har store nok datasæt, kan du få hvad som helst til at hænge sammen.«

»Der er for eksempel en meget stærk sammenhæng mellem, hvor meget chokolade der spises i et land, og antallet af nobelpriser,« siger Jesper Wulff og tilføjer, at de to ting naturligvis ikke har noget med hinanden at gøre.

Det kunne dog også være en statistisk fejl i det undersøgte studie, mener han. Eller også har verden slet og ret bare ændret sig, siden studiet udkom i 2013.

Forskning kræver mere åbenhed

I det nye studie, der er publiceret i tidsskriftet Nature, har en decideret hær af forskere, som nævnt, tryktestet 164 videnskabelige artikler på samme vis som Jespers Wulff.

Som et led af studiet har de også set nærmere på i alt 274 hypoteser fra de undersøgte studier.

Kun 55 procent af disse hypoteser kan genskabes, så de når samme konklusion som i det originale studie.

Selv om Jesper Wulff og co. selv kan have lavet fejl i deres forsøg på at genskabe de gamle studier, mener han, at tallene er så slemme, at det giver mening at tale om en krise i samfundsvidenskaben.

»Langt størstedelen af den mest citerede forskning i samfundsvidenskab bliver aldrig replikeret. Det gør fundamentet usikkert og svært at bygge videre på – både inden for og uden for forskningsverdenen.«

Tallene fra studiet vil ifølge ham chokere ret mange forskere. Og de burde ligge til grund for en selvransagelse i samfundsvidenskaben:

»Hvis vi anerkender problemet, kan vi benytte den her lejlighed til at tage tiltag som præregistrering og transparens meget mere alvorligt og bygge et langt stærkere felt, end vi har i dag.«

Replikationsforsker: Måske fine tal

Thor Grünbaum forsker netop i replikation. Og han mener ikke, at der er grund til panik på baggrund af det nye studie.

»Det er måske meget fine tal,« siger Thor Grünbaum, der er professor i filosofi og psykologi på Københavns Universitet, til Videnskab.dk.

Thor Grünbaum ser heller ikke tegn på en krise i samfundsvidenskaben.

Det er ifølge professoren vigtigt at forstå, at det ikke altid er så lige til at genskabe et studies konklusion. Det er en pointe, som forskerne bag det nye studie selv fremhæver.

Forskerne har hele 13 forskellige metoder til at genskabe studier.

Her svinger resultaterne en del alt efter metoden, der tages i brug. En af metoderne viser, at bare 29 procent af studierne kan genskabes. En anden metode når frem til 75 procent.

Oftest landede resultatet i analysen dog på, at omtrent halvdelen kunne genskabes med nogenlunde samme resultat.

»Men de viser netop, at det er svært at måle og bestemme, hvor mange studier, der kan replikeres,« siger Thor Grünbaum.

Det skyldes, at der ikke er én metode til at genskabe studier, som passer til al forskning. Der er et hav af forskellige kriterier og ikke enighed om, hvilket der er vigtigst.

Forskning stiller nye spørgsmål

Hvis vi alligevel tager det for gode varer, at det er cirka halvdelen af studierne, der kan genskabes, kan det dog være helt okay tal, mener Thor Grünbaum.

Det skyldes, at forskning som oftest undersøger ting og forhold i verden, som vi ikke ved på forhånd. Studier, der peger i retning af nye og spændende sammenhænge, har samtidig bedre chancer for at blive bragt i de bedste tidsskrifter.

Det er de positive svar, der er interessante at udgive, men når det, man undersøger, ofte er usikkert eller helt nyt, vil nogle af de positive resultater også være forkerte.

»Selv hvis vi tester efter alle kunstens regler, får vi falske positive (et testresultat, der fejlagtigt indikerer tilstedeværelsen af en sygdom eller virus, som ikke faktisk er til stede, red.),« siger Thor Grünbaum.

Han mener dog ikke, at det ville være bedre for forskningen, hvis alle konklusionerne i alle studier med lethed kunne genskabes.

For det ville tyde på, at videnskabsfolk undersøgte de samme teorier igen og igen og ikke tog chancer ved at undersøge noget nyt.

Derfor er det ifølge Thor Grünbaum svært at vurdere, om replikationsraterne er bekymrende lave i studiet eller helt ok.