Hvorfor er det så svært at finde ud af, om sociale indsatser virker?

En lektiecafe for indvandrerbørn, et værested for voksne udviklingshæmmede og et opholdssted for psykisk sårbare unge.

Eksemplerne er alle sociale tilbud, som har til formål at hjælpe deres målgruppe. Men virker tilbuddene?

Det er generelt svært at få solid videnskabelig dokumentation for, om sociale tilbud har nogen virkning, påpeger en lang række forskere, som Videnskab.dk har talt med.

Alligevel mener flere forskere, at landets kommuner bør blive bedre til at dokumentere effekten af de sociale tilbud, som de bruger skatteborgernes penge på. Ellers ved vi ikke, om tilbuddene har nogen effekt, eller om de i værste fald har en negativ virkning, påpeger de.

Men hvorfor er det så svært at skaffe videnskabelig evidens for effekten af sociale tilbud? Og hvad bør kommunerne stille op, når det både er dyrt og komplekst?

Videnskab.dk dykker ned i den forskningsmæssige diskussion om, hvorvidt det er muligt at skaffe evidens for forebyggende sociale indsatser.

Svært at måle på individuelle udfordringer

Modsat eksempelvis medicinsk forskning, hvor man undersøger om en pille virker, er det langt sværere at få videnskabelig dokumentation for, om en forebyggende social indsats virker.

Det skyldes, at der er mennesker involveret, hvis udfordringer og forløb er helt individuelle. Hos disse mennesker er der ofte ikke konkrete parametre, som man kan måle på for at sige, om en social indsats virker eller ej, påpeger flere forskere.

Et mål for brugerne af en social indsats kan eksempelvis være, at vedkommende skal være bedre til at knytte sociale kontakter, komme op om morgenen eller blive bedre til at koncentrere sig.

»Der, hvor man gerne vil have effekt, er tit mindre målbart,« siger Torben Tranæs, der er ph.d. i økonomi og forskningsdirektør ved Det Nationale Forsknings- og Analysecenter for Velfærd, VIVE.

»På den korte bane vil man gerne hæve udsatte borgeres livskvalitet og klæde dem bedre på til at håndtere bestemte situationer. Det lange perspektiv er typisk noget med, at brugerne skal være selvforsørgende, komme i arbejde eller og få en uddannelse,« fortsætter han.

Hvis målet på den lange bane eksempelvis er, at en person skal få en uddannelse, kan det efterfølgende være svært at dokumentere, hvorfor det lykkedes (eller mislykkedes) for personen at uddanne sig. Var det, fordi den sociale indsats fra kommunen virkede? Eller var det helt andre faktorer i personens liv, som spillede ind?

»Det helt grundlæggende er, at man skal sammenligne med, hvad der ville være sket med de personer, hvis ikke indsatsen havde været der. Det ville man lettere kunne lave i mange andre forskningssammenhænge, for eksempel hvis man giver en gruppe mennesker en pille med aktivt stof og en anden gruppe får en placebopille,« siger Torben Tranæs.

Svært at få præcise mål på effekten

Flere forskere er enige om, at den mest præcise måde at måle, om et socialt tiltag virker, er ved at lave kontrollerede lodtrækningsforsøg.

Et tænkt eksempel på et kontrolleret forsøg kan være forskere, som vil undersøge, om et psykologtilbud fra kommunen gavner en gruppe psykisk sårbare unge. Efter psykologindsatsen følger forskerne op på, hvordan de psykisk sårbare unge har haft det før og efter, de får tilbudt psykologhjælp.

Hvis de unge fortæller, at de har fået det bedre, kan det måske være, fordi psykologhjælpen fra kommunen har virket. Men principielt set kunne de unge også have fået det bedre, uanset om de havde fået psykologhjælpen eller ej – måske skiftede de klasse, fik en kæreste, en god ven, en ny hobby eller noget helt andet i samme periode, som hjalp dem endnu mere end psykologhjælpen.

I et kontrolleret lodtrækningsforsøg bruger forskerne derfor en såkaldt kontrolgruppe. Det vil sige, at forskerne følger en gruppe sammenlignelige psykisk sårbare unge, som ikke får tilbudt psykologhjælp fra kommunen. Dette opnås ved at trække lod om, hvem af de psykisk sårbare unge der skal have indsatsen, og hvem der skal i kontrolgruppen.

Til sidst kan forskerne sammenligne de to grupper af unge – med og uden psykologhjælp – og undersøge, om der er væsentlige forskelle imellem dem. Netop fordi det er tilfældigt, hvilken gruppe de unge tilhører, kan en eventuel forskel tilskrives indsatsen, forklarer Torben Tranæs.

\ Læs mere

Psykiatere: Populært socialt tilbud sælger sig selv på tyndt videnskabeligt grundlag

Kontrollerede forsøg kan være uetisk

Spørger man forskningsleder Frank Cloyd Ebsen er han ikke i tvivl om, at kontrollerede forsøg er den bedste metode til at finde ud af, om en social indsats virker efter hensigten.

»Men det er hamrende dyrt og rigtig svært at lave, fordi det er besværligt med en kontrolgruppe i den her sammenhæng,« påpeger Frank Cloyd Ebsen, som er docent og forskningsleder på Institut for Socialt Arbejde ved Professionshøjskolen Metropol.

Og det er her, den største udfordring ved sociale indsatser opstår. Dels fordi det kan være ekstra belastende for en i forvejen sårbar person at udsætte ham eller hende for undersøgelser. Og dels fordi, det kan være etisk uforsvarligt at give den ene gruppe psykisk sårbare personer en indsats, mens man bare lader stå til hos de andre personer i kontrolgruppen, forklarer Torben Tranæs.

Men hvis man for eksempel ikke har nogen empirisk funderede hypoteser om, at indsatsen vil gøre gavn, vil det alligevel være etisk forsvarligt at trække lod om indsatsen, da man ellers risikerer at gøre skade, mener Torben Tranæs og tilføjer:

»Alternativt til kan man tilbyde kontrolgruppen at få indsatsen efterfølgende, så det kun er rækkefølgen, der trækkes lod om.«

Forfejlet at tale om evidens på området

Ifølge en anden forsker, Videnskab.dk har talt med, bør man bevæge sig helt væk fra at lave evidens i klassisk forstand på det sociale område – det vil sige, at vi bør gå væk fra at lave målinger, hvor der er en kontrolgruppe.

»For at vi skulle kunne måle på evidensen i sociale tilbud, kræver det kontrollerede forsøg, og det ville være dybt uetisk. Vi kan ikke leve op til idealet om kontrollerede forsøg, uanset hvad vi gør,« siger Iben Nørup, der er postdoc ved Institut for Sociologi og Socialt Arbejde på Aalborg Universitet.

Iben Nørup mener derfor ikke, at det giver nogen mening at efterspørge klassisk evidens for virkningen af forebyggende sociale indsatser.

»Evidens giver mening, når vi for eksempel tager penicillin, og alle patienter skal have en standardbehandling. Men når vi laver sociale indsatser, skal hvert forløb jo være individuelt. Det er hele tankegangen, at vi laver individuel behandling. Vi tilpasser situationen til det menneske, der kommer ind ad døren, og det er en diskussion, man glemmer,« siger Iben Nørup og tilføjer:

»Det er et forfejlet ideal at lægge ned over det sociale område.«

Risikabelt ikke at måle effekten

Forskningsdirektør Torben Tranæs og forskningsleder Frank Cloyd Ebsen mener imidlertid ikke, at man kan droppe at efterspørge almindelig videnskabelig evidens på det sociale område, blot fordi evidensen er kompliceret og dyr at anskaffe.

»At det er kompliceret, er sådan set ikke en undskyldning for ikke at gøre det. Man kan faktisk godt risikere at sætte personen tilbage, hvis tilbuddet viser sig ikke at have effekt,« siger Torben Tranæs.

Den pointe bakker Frank Cloyd Ebsen op om.

»Man har et ansvar over for de personer, man forsøger at hjælpe i forhold til at finde ud af, om initiativet rent faktisk også har en positiv effekt,« siger Frank Cloyd Ebsen.

Altid muligt at lave dokumentation

Ebsen og Tranæs er enige om, at kontrollerede forsøg bestemt kan give mening i forhold til at tjekke virkningen af visse sociale tilbud.

Alternativt har man ofte mulighed for at tilvejebringe sin kontrolgruppe på anden vis end ved lodtrækning, mener de. Tilsvarende kan man sørge for at stille de rigtige spørgsmål på de rigtige tidspunkter til brugerne af det sociale tilbud, man vil undersøge, påpeger Torben Tranæs.

»Det er næsten altid sådan, at hvis man er villig til at bruge den tid og de ressourcer, der skal til, så kan man måle effekten af en indsats. Hvis man skal måle på en indsats, der består af mange elementer, har man dog altid en udfordring,« siger Torben Tranæs.

Derfor bør det enkelte sociale tilbud selv være med til at definere, hvad det er, de hjælper med og herefter se på, om det rent faktisk hjælper, forklarer Torben Tranæs. En pointe som Frank Cloyd Ebsen understøtter:

»Det sociale tilbud er nødt til at stille klart op, hvad det er, de tror, at de forandrer,« siger Frank Cloyd Ebsen.

»Er det for eksempel at give en pause til nogle af dem, der er syge, så de er i stand til at komme videre? Eller er det at gennemføre en uddannelse, få nogen at snakke med eller bliver medicineret mindre? Afhængigt af, hvor de lægger sig på den skala, skal de spørge brugerne, om de har fået det bedre på netop de områder.«

'Bløde' evalueringer er okay

Iben Nørup er enig i, at der skal være evidens på det sociale område, men hun mener, man bør være varsom med de kontrollerede forsøg. Man må i stedet nøjes med spørgeskemaundersøgelser eller observationer af et forløb, hvis personerne altså indvilliger i det, mener hun.

»Man bør se på, om de er glade for hjælpen og oplever at have fået det bedre. Hvis målet er, at de unge får det bedre, så ville det give mening at spørge dem om det, men man kan ikke kalde det klassisk evidens med kontrollerede forsøg, det er nemlig en anden måde at lave forskning på« siger hun og tilføjer:

»Det er ikke muligt at lave en standardløsning på det sociale område, som kan virke på alle. Sådan virker mennesker ikke, og sådan virker sociale indsatser heller ikke. Men derfor skal man stadig forholde sig til, om det giver mening, for eksempel med brugerundersøgelser, der handler om, om de unge er glade for det, og om de føler, at det gør en forskel,« mener Iben Nørup.

Den slags »bløde« undersøgelser, hvor man spørger brugerne af et socialt tilbud, om de synes, tilbuddet virker, er imidlertid ikke nok evidens, mener Frank Cloyd Ebsen.

»Hvis vi skal finde ud af, om et initiativ har en effekt, skal det ikke kun handle om de kvalitative undersøgelser, register- eller spørgeskemaundersøgelser. Man skal også forholde sig til de ressourcer, der er afsat, og dermed have set på de økonomiske aspekter. Det er en kombination af de to ting, der skal til for at forstå, om pengene brugt på initiativet svarer til det, der kommer ud af det,« siger Frank Cloyd Ebsen.

Den pointe understøtter Torben Tranæs og tilføjer:

»Der er mange eksempler på sociale indsatser og hokus pokus-medicin, som borgerne er glade for, også selvom der ingen effekt er eller måske endda en negativ effekt. Det er vigtigt, at det offentlige ikke støtter den slags og heller ikke legitimerer det.«

Anonyme brugere gør det ekstra svært

Udover at det kan være svært og etisk forkert at måle evidensen for sociale tilbuds virkning, er der endnu et bump på vejen, der gør mange sociale tilbud svære at måle på.

En del sociale tilbud er nemlig anonyme. Det vil sige, at man kan komme ind fra gaden eller ringe, uden at man behøver at oplyse, hvem man er. Men når man ikke kan registrere personerne, kan man heller ikke følge op på, om det går dem bedre.

Netop anonymitet er kerne-essensen i mange forebyggende tilbud, fordi man uden registreringer og ventelister kan få fat på en anden målgruppe, end man ellers ville kunne nå, påpeger professor Merete Nordentoft.

»Det er vigtigt med evidens, men i nogle typer indsatser, hvor det er anonymt, er det praktisk umuligt at få høj grad af evidens, og det må man nogle gange tage til takke med,« siger Merete Nordentoft, som er professor ved Region Hovedstadens Psykiatri.

Hvordan finder vi ud af, om det virker?

Der er intet enkelt svar på, hvordan man finder ud af, om sociale indsatser virker, men blandt forskerne er der dog enighed om, at der bør være bedre evidens af forebyggende sociale tilbud.

»Der skal prioriteres på det sociale som på andre områder, og det fordrer blandt andet at få evalueret effekten af indsatser, man har til rådighed,« siger Torben Tranæs.

»Det er klart, at man ikke skal arbejde med tunge kvantitative effektanalyser i udviklingsfasen, for der handler det om at udvikle indsatser. Men når man har modnede indsatser, der er succesfyldt indarbejdet i en daglig praksis, bør man i den sidste fase inden nationallovgivningen undersøge effekterne videnskabeligt – kvantitativt og helst også kvalitativt.«

Ifølge Frank Cloyd Ebsen er der tre konkrete måder, man kan lave bedre videnskabelig evidens uden nødvendigvis at involvere en kontrolgruppe:

1. Først og fremmest kan man lave en undersøgelse af forløbet baseret på, hvad kommunernes fælles mål er for det sociale tilbud. På den måde vil man have større fokus på selve målene frem for processen.
2. Man kan også lave undersøgelser, der følger op umiddelbart et halvt år og to år efter, for at kunne udlede, hvorvidt professionelle og kommuner er på rette spor.
3. Og sidst kan kommuner supplere med undersøgelser fra registre fra lignende grupper for at sammenligne dem med hinanden.

På trods af at der er flere tiltag, der kan styrke den videnskabelig evidens, står professor Merete Nordentoft stærkt ved, at det ikke altid er muligt.

»Nogle gange kan man blive nødt til at implementere et socialt tilbud, selvom de er dyre, og selvom der ikke er videnskabelig evidens for det. Det er et botilbud et godt eksempel på. Kommuner kan altid prøve en social indsats af, men der er nogle situationer, hvor man bliver nødt til at acceptere, at det simpelthen bare ikke kan lade sig gøre.«

\ Læs mere

Kommunernes dilemma: Ikke muligt at få videnskabelig evidens for alle sociale tilbud

\ Læs mere

App skal bringe socialrådgivere og unge tættere sammen