Der er noget helt galt i psykologi-forskningen

Det er nok noget, alle forskere drømmer om: Du har en hypotese - en lidt dristig antagelse om, hvordan noget hænger sammen - som du tester i et videnskabeligt studie.

Og når resultaterne kommer, lever de op til forventningerne. Det stemmer! Resultaterne bekræfter, at du havde ret i dine antagelser.

En videnskabelig sejr. Eller er det?

Træt af at vinde!

I 2022 kom psykologiprofessor Gerald Haeffel en indtrængende opfordring til sine kolleger verden over:

Nu må vi psykologiforskere efterhånde være trætte af at vinde hver eneste gang!

Gerald Haeffel refererede blandt andet til et nyt studie, der viste, at 96 procent af psykologi-studierne konkluderede, at hypotesen var sand.

Det er ikke godt. For når forskerne næsten altid har ret, er det ikke et tegn på, at de er genier. Det er i stedet et foruroligende hint om, at der er noget galt med studierne.

Bekymrende studie

Det studie, Gerald Haeffel refererede til, er på ingen måde det første tegn på problemer i psykologiforskningen.

I begyndelsen af ​​2010'erne var flere forskere begyndt at stille spørgsmålstegn ved kvaliteten af ​​mange undersøgelser.

Og i 2015 blev en bombe af et studie publiceret i det videnskabelige tidsskrift Science.

Forskeren Brian Nosek og en stor gruppe kolleger havde sat en kæmpe test op: De havde udvalgt 100 tilfældige psykologistudier, som for nylig var offentliggjort i tre prestigefyldte videnskabelige tidsskrifter. Så havde forskerne ganske enkelt lavet studierne igen, for at se om de fik det samme resultat.

Det gjorde de ikke.

Replikationskrise

97 procent af de oprindelige studier havde bekræftet forskernes hypoteser. Da præcis de samme studier blev foretaget igen, bekræftede kun 37 procent af dem hypotesen.

Og selv i disse undersøgelser var resultaterne ofte langt svagere end i de oprindelige studier.

I kølvandet på denne og andre undersøgelser blev der sat spørgsmålstegn ved adskillige store sandheder i psykologien.

Problemerne på området omtales ofte som replikationskrisen. Mange har især peget på problemerne indenfor socialpsykologien, som forsøger at forklare, hvordan vi mennesker påvirker hinanden psykisk. Men andre områder, såsom klinisk psykologi, ser også ud til at at være berørt.

Den kendte statistiker og videnskabskritiker John Ioannidis skrev i 2022, at det meste af den dokumentation, vi har om psykoterapi, er stærkt fordrejet:

»De fleste former for psykoterapi gør sandsynligvis kun lidt eller ingen nytte, selv når publiceret litteratur antyder, at de er yderst effektive,« skrev han i Epidemiology and Psychiatric Sciences.

»Usund forskningspraksis«

Henrik Berg er uddannet i både psykologi og filosofi og arbejder som professor i videnskabsteori ved Universitetet i Bergen. Han bekræfter, at forskning i psykologi står over for udfordringer.

Det er et kompliceret anliggende. Psykologiske mekanismer kan være ekstremt komplekse, og det er udfordrende at sætte gode studier op uden at oversimplificere fænomenerne.

Men der er ingen tvivl om, at noget af forskningen på området har været af lav kvalitet, mener Henrik Berg.

»I løbet af de seneste ti år er der afdækket en række ret usunde forskningspraksisser inden for sundhed og psykologi,« siger han til forskning.no, Videnskab.dk's norske søstersite.

Måske kan alle alligevel ikke blive onde

Joar Øveraas Halvorsen er lektor og forsker i psykologi ved Norges teknisk-naturvidenskabelige universitet, NTNU. Han mener også, at mange af psykologistudierne er for dårlige.

Det fører til, at meget viden på området bliver usikker.

»Det er meget få ting, vi kan sige med stor grad af sikkerhed inden for mit felt. En betydelig del af det, jeg lærte som bachelor i psykologi i 2001, har siden vist sig ikke at holde stik,« siger han.

»Jeg tror, ​​at vi har været i - og stadig er i - en replikationskrise i psykologien,« siger Joar Øveraas Halvorsen.

Forskerens egen metode fungerer altid bedst

Jan Ivar Røssberg er professor i psykiatri ved Universitetet i Oslo og overlæge i psykiatri ved Oslo Universitetshospital. Han står selv bag mange psykoterapi-studier og kender forskningen på området godt.

Han bekræfter også problemerne.

»Man skal lede længe efter studier, hvor det, forskeren selv tror på, ikke vinder. Jeg kender kun til ét studie, hvor forskerens egen metode endte som den mindst effektive,« siger Jan Ivar Røssberg.

Det er faktisk så usædvanligt, at dette ene studie blev kendt i fagkredse – netop fordi det ikke viste, at forskerens foretrukne metode var den bedste. Vi vender tilbage til dette studie senere i artiklen.

Men først: Hvorfor er det sådan? Hvorfor oplever forskerne konstant, at deres hypoteser stemmer, samtidig med at mindre end halvdelen af ​​resultaterne bliver bekræftet, hvis det samme studie gentages?

Problemer i forskningskulturen

Lad der ikke herske tvivl: Problemer med kvaliteten i forskningen rammer også andre fagområder. For eksempel har studier vist tegn på replikationskrise i både kræftforskning og eksperimenter i økonomi.

Men Gerald Haeffel mener, at forskningskulturen i psykologi har et særligt problem.

Han mener, at psykologien simpelthen er holdt op med at bruge videnskaben til at undersøge årsager og virkninger.

Hypotesetestning

Der er mange måder at indsamle viden på, for eksempel gennem dybdegående interviews med patienter. Her er Gerald Haeffel dog særligt optaget af den del af forskningen, der omhandler hypotesetestning.

Inden for mange fagfområder, som fysik, biologi og medicin, foregår jagten på viden typisk ved at opstille hypoteser – altså modeller for, hvordan, man tror, ​​tingene hænger sammen.

Derefter udfører forskerne eksperimenter eller andre undersøgelser, for at teste om modellerne rent faktisk stemmer overens med virkeligheden.

Hele pointen med disse test er, at de også skal kunne vise, at hypoteserne ikke er korrekte. Denne falsificering er et kendetegn ved videnskaben.

Tror, ​​psykologien er holdt op med at teste hypoteser

Baseret på resultaterne vil hypoteserne blive finpudset, ændret eller forkastet. Ny viden bygger på tidligere fund, og forskellige hypoteser konkurrerer mod hinanden. Til sidst vil de modeller, der bedst forklarer virkeligheden, vinde frem.

På den måde er det muligt at opbygge stadig mere præcise teorier om, hvordan fænomener i verden fungerer. I biologien er evolutionsteorien for eksempel vokset frem.

Men sådan forholder det sig ikke for rigtig meget af forskningen i psykologi, skriver Gerald Haeffel, som fortsætter: Psykologien er holdt op med at bruge denne videnskabelige metode, som den burde.

Finde og publicere så mange positive resultater som muligt

I mange tilfælde kan psykologiens idéer ikke falsificeres. Det er altså ikke muligt at opsætte test, der kan vise, om de er forkerte.

I stedet er målet ofte at publicere så mange studier som muligt, der viser, at forskernes egne hypoteser er rigtige, uanset om det giver større indsigt eller bedre behandling, skriver Gerald Haeffel.

En sådan kultur tilskynder til dårlig forskning, mener han.

Det behøver ikke at handle om bevidste forsøg på at manipulere resultaterne, men sådan kan det alligevel ende i virkeligheden.

Rigget til et positivt resultat

Det kan Jan Ivar Røssberg fra UiO bekræfte.

»Mange studier er sat op, så de leverer positive resultater. Det har én af ​​verdens bedste forskere i depression skrevet en rigtig god artikel om,« siger han.

Jan Ivar Røssberg henviser til en dryppende ironisk artikel af Pim Cuijpers og Ioana Alina Cristea, publiceret i Epidemiology and Psychiatric Sciences i 2016.

Forskerne beskriver, hvordan man opstiller et videnskabeligt studie, der vil vise, at din terapi virker, selvom den virkelig ikke gør det. I faktaboksen her kan du se opskriften.

Underminerer psykologiens troværdighed

Opskriften på studier med gode resultater er naturligvis sat på spidsen.

Men Pim Cuijpers og Ioana Alina Cristeas pointe er, at mange psykologi-studier netop er designet på denne måde. Punkterne repræsenterer forskellige dårlige praksisser i forskningen, som tilsammen kan producere studier med slående, men ikke pålidelige resultater.

»Vi ved fra klinisk forskning, at studier af lav kvalitet har en tendens til at finde større effekt end studier af god kvalitet,« siger Joar Øveraas Halvorsen fra NTNU.

Han mener, at dårlig forskning er med til at underminere psykologiens troværdighed som videnskab.

Men her er der også stor uenighed mellem forskellige forskere på området.

Mange mener, at replikeringskrisen er reel og skal tages alvorligt, men der er ikke enighed om, hvilke metoder der er gode nok.

Et godt eksempel er diskussionerne omkring brugen af ​​en venteliste som kontrolgruppe.

Sammenligning er vigtig

Når forskere skal undersøge en form for behandling på mennesker, er det vigtigt at have noget at sammenligne den med. Altså en kontrolgruppe.

En undersøgelse kan for eksempel vise, at patienter, der får en bestemt behandling, får det bedre. Men er det behandlingen, som virker?

Patienterne kan også have fået det bedre af sig selv eller oplevet en generel placeboeffekt.

Det er her kontrolgrupper kommer ind i billedet. Ved at sammenligne resultaterne i de to grupper kan forskerne afdække, om behandlingen i sig selv har en effekt.

Venteliste som kontrolgruppe

I de fleste psykologi-studier sammenlignes resultaterne af behandlingen med patienter, der står på venteliste til samme behandling.

Men disse studier kan ikke vise, om en del af eller hele effekten blot skyldes placeboeffekten. Det kan betyde, at vi får et forvrænget billede af, hvor godt behandlingen virker.

De behandlingsformer, vi tilbyder, kan i virkeligheden være langt mindre effektive, end studierne indikerer, skriver Beth Patterson fra McMaster University og hendes kolleger efter at have undersøgt sagen i 2016.

Det er en del af grunden til, at forskere er så uenige om, hvor godt psykoterapi virker. Nogle forskere mener, at ventelistestudier bør indgå i vurderingen af, hvor godt terapien virker. Så viser opsummeringer ofte, at behandlingen har stor effekt.

Andre forskere mener, at ventelisteundersøgelserne skal tages ud, og så viser opsummeringerne en mere beskeden effekt.

»Jeg mener, at ventelistekontrollen sætter grænsen lidt for lavt. Med den viden, vi har i dag, vil jeg anbefale, at man bruger andre kontrolgrupper,« siger Jan Ivar Røssberg.

Kan ikke stoppe her

Sverre Urnes Johnson er professor og psykologispecialist ved Universitetet i Oslo og Modum Bad. Han argumenterer for bevidsthed omkring brugen af ​​ventelister

»Ventelisten som kontrolgruppe har svagheder, men det afgørende er, at man sammenligner med noget,« siger Sverre Urnes Johnson.

Det vigtigste er, at forskerne er bevidste om, hvordan de bruger og fortolker studierne,« mener han.

»Vi kan ikke stoppe der og hævde, at vi har fundet løsningen,« siger Sverre Urnes Johnsen.

»Næste skridt er at sætte teorien op spil - at sætte et større studie op, hvor vi sammenligner effekten med de bedst dokumenterede behandlingsformer på området. Det betyder, at aktive behandlingsformer sammenlignes med hinanden.«

Komme an på en prøve

Men det sker ikke altid i psykologien.

At teste sin egen metode mod andre behandlingsformer kan være følsomt og vanskeligt for forskere, som har en tendens til at have stor tro på deres egne metoder.

»Terapeuter identificerer sig ofte i høj grad med deres egne metoder. Det kræver tillid til de involverede forskerhold at lade deres behandlingsform komme an på en prøve,« siger Sverre Urnes Johnsen.

For hvad nu hvis resultaterne er værre end forventet?

Det er præcis, hvad der skete med den berygtede artikel, der ikke bekræftede forskerens hypotese.

Chokstudie

Stig Bernt Poulsen og Susanne Lunn fra Københavns Universitet ville teste effekten af ​​deres egen behandlingsform – psykoanalytisk terapi – på patienter med bulimi.

Denne gang sammenlignede de ikke med en venteliste. I stedet lader de patienterne i kontrolgruppen få behandling med terapiformen kognitiv terapi. De, der analyserede dataene, vidste ikke, hvem der havde modtaget hvad.

Og resultaterne kom som et chok.

Skuffende resultater er guld værd

Sådanne resultater kan vise sig at være katastrofale for de forskere, der har sat deres teori på spil. Især når de ikke får støtte fra deres kolleger.

Forskere, der publicerer negative fund, kan hurtigt blive ugleset af andre inden for samme terapiform, siger Jan Ivar Røssberg fra UiO.

Men for patienter er den slags resultater guld værd. For nu har vi fået mere viden om, hvad der virker, og hvad der ikke gør.

»Det er utrolig vigtigt for faget, at negative resultater også publiceres, selvom det kan være hårdt for de forskere, der gør det,« siger Jan Ivar Røssberg.

Gerald Haeffel påpeger, at det netop er sådanne resultater, der driver videnskaben fremad.

Han mener, at modviljen mod at acceptere negative resultater får psykologien til at stagnere som videnskab.

»Mere elendig forskning hjælper ingen«

Flere forskere opfordrer til større bevidsthed om, hvad der sker i psykologiforskningen.

Svein Magnussen, professor emeritus i psykologi ved Universitetet i Oslo, mener, at nøgleordet er kvalitet.

»Mit indtryk er, at der konstant efterlyses mere forskning. Men ingen stiller spørgsmålet: Hvad med den forskning, der rent faktisk udføres hele tiden – er kvaliteten god nok? Stiller vi de rigtige spørgsmål?«

»Mere elendig forskning hjælper ingen. Jeg tror, ​​vi har brug for bedre forskning,« siger han.

»Det bliver bedre«

Jan Ivar Røssberg mener stadig, der er grund til optimisme.

»Vi hænger lidt i bremsen. Men psykoterapi-forskningen er bedre i dag end for bare 10 år siden,« siger han.

Han og hans kolleger udfører i øjeblikket randomiserede, kontrollerede studier for at afdække mere om, hvordan forskellige former for psykoterapi virker.

Han mener, det er vigtigt at vise, hvor svært det er.

»Psykoterapistudier bliver aldrig så stringente og optimale som lægemiddelstudier,« siger han.

I et studie af et lægemiddel kan man give alle den samme pille. Men i psykoterapi er behandlingen et samspil mellem terapeuten og patienten. Det kan ikke standardiseres på samme måde.

I Jan Ivan Røssberg og kollegers studier gennemgår forskerne videooptagelser af tusindvis af terapiforløb for at se, hvad terapeuterne egentlig laver.

»Jeg tror ikke, ​​at mange af dem, der udtaler sig om, hvordan psykoterapi-studier skal laves, selv har prøvet det,« siger han.

»Det er utrolig svært at lave sådanne studier. Jeg plejer at sige, at jeg også var høj og mørk, før jeg lavede et randomiseret kontrolleret forsøg med psykoterapi.«

»Efter en lang række studier er jeg blevet tyk og skaldet.«

©Forskning.no. Oversat af Stephanie Lammers-Clark. Læs den oprindelige artikel her.