Skoleforskere: Jagten på evidens har taget overhånd

I medicinsk forskning har man længe arbejdet med evidens. Der skal være evidens for de behandlinger, lægerne bruger. Derfor tester man lægemidler i forsøg, hvor en gruppe forsøgspersoner får et virksomt lægemiddel, mens en kontrolgruppe får placebo.

Forsøgspersonerne bliver inddelt i grupper ved lodtrækning, og de må ikke vide, om de får placebo eller det virksomme stof. Jo flere af den slags blindede lodtrækningsforsøg, der viser, at et lægemiddel har en effekt, desto mere evidens er der for, at det virker, er reglen.

Men evidensforskning er ikke længere forbeholdt lægevidenskaben.

Evidensbegrebet har spredt sig til det sociale område, blandt andet til det pædagogiske felt, hvor man i de seneste par årtier har lavet flere og flere lodtrækningsforsøg for at finde ud af, om særlige indsatser har effekt på skoleelevers og børnehavebørns læring.

Man kan ikke sætte alt på formel

Jagten på målbare videnskabelige resultater i skoler og daginstitutioner kan være skadelig, frygter en gren af pædagogiske forskere, der længe har kæmpet mod den evidensbevægelse, som i de seneste årti har i bredt sig uddannelsessystemet.

Evidensbegrebet giver mening på sygehuse, men ikke nødvendigvis i skoler og børnehaver, indvender de.

»I lægeverdenen er der groft sagt to parametre: Folk er raske eller syge. Man tester lægemidler for at gøre folk raske. Men på uddannelsesfeltet er det ikke så simpelt som syg eller rask,« siger eksempelvis Steen Nepper Larsen, der er lektor på Danmarks Pædagogiske Universitet (DPU) ved Aarhus Universitet.

»Man forsøger hele tiden at optimere læringseffekter, men det er naivt at tro, at man kan formalisere alt – at man kan reducere kvalitative dimensioner af menneskelivet, som eksempelvis læring, til noget målbart. Samtidens magtfulde evidens-tankegang er forfejlet,« fortsætter han.

Læring er kompleks

Kritikken går på, at læring er en kompleks størrelse, der hele tiden bliver påvirket af relationerne i klasselokalet, elevernes udgangspunkter, deres udvikling og alle mulige andre forhold, der ikke kan måles.

»Evidenstænkningen ønsker at optimere og trimme individet, men er fuldstændig substansløs og uinteresseret i, hvordan sociale fællesskaber konstitueres, kvalificeres og holdes vedlige,« skrev Steen Nepper Larsen i 2015 i artiklen 'Evidens – nitten kritiske aforismer' publiceret i tidsskriftet Social Kritik.

Læring er en process, ikke et tiltag, der enten har en statistisk signifikant virkning eller ej, lyder det også fra Peter Allerup, der er professor i statistik på DPU.

»Vi er landet i en tilstand, hvor man tror, at alt skal måles, fordi der er et stadig voksende krav i vores samfund, helt ned på kommunalt niveau, om at foretage vurderinger, som direkte kan oversættes til økonomiske konsekvenser. Det er man blevet mere og mere optaget af,« siger Peter Allerup.

Også internationalt er der kritik af evidensbevægelsen, kan du læse i artiklen 'Hollandsk topforsker: Den danske folkeskole er eksemplarisk'

Ifølge Peter Allerup giver det ofte ikke mening at måle den statistiske effekt af pædagogiske indsatser, fordi der i undervisningssituationer er så mange ukontrollable forhold, som kan påvirke resultatet.

Desuden er der ofte problemer med de statistiske beregninger, der ligger til grund for de resultater, man når frem til, skrev han i 2015 i en artikel publiceret i det videnskabelige tidsskrift Paideia. Det vender vi tilbage til. Først får du historien om, hvordan evidens blev et buzzword i det danske uddannelsessystem.

PISA-testen satte gang i evidensjagten

Hangen til at finde videnskabelig evidens for, hvad der virker i skolen, vandt for alvor frem i starten af 00’erne, hvor den globale PISA-test blev indført. Testen bragte røre i andedammen, for danske elever klarede sig ikke specielt godt i forhold til lande, vi normalt sammenligner os med.

Nu skulle der sættes ind for at styrke børnenes faglighed, var der bred politisk enighed om. I kølvandet på de nedslående PISA-resultater begyndte styrelser og interventionsforskere derfor at gå videnskabeligt til værks for at vurdere, hvilke undervisningsmetoder og pædagogiske indsatser der har størst effekt på elevernes læringsudbytte.

Ligesom i lægeverdenen begyndte man på det pædagogiske område at lave flere og flere lodtrækningsforsøg, og man lavede litteraturgennemgange, hvor styrelser og forskningscentre systematisk gennemgår al den danske og udenlandske forskning, der er lavet om en given indsats, før den bliver anbefalet.

Rationalet er, at jo flere studier, der viser, at en indsats har effekt, desto mere evidens er der for, at den virker.

Newzealandsk forsker fik indflydelse

Et andet vendepunkt, som fik betydning for, at tal og målingerne i dag fylder langt mere i danske skoler end i det foregående århundrede, skete i slutningen af 00'erne, fortæller de forskere, Videnskab.dk har talt med.

I 2009 publicerede en newzealandsk uddannelsesforsker ved navn John Hattie en omfattende kortlægning af, hvilke faktorer der har en effekt på skoleelevers læringsudbytte.

John Hattie og hans forskergruppe opstillede i bogen 'Visible Learning: A Synthesis of Over 800 Meta-Analyses Relating to Achievement' en liste over 150 undervisningsmetoder, som de gav point ud fra, hvor meget evidens der er for, at de kan påvirke elevernes læringsudbytte. Listen var baseret på 900 metaanalyser af over 60.000 undersøgelser, hvor 245 millioner elever og lærere over hele verden har deltaget. På baggrund af den enorme datamængde havde forskerne fået algoritmer til at regne ud, hvor stort et læringsudbytte elever har fået ud af forskellige pædagogiske tiltag.

Siden har John Hattie været en af verdens mest indflydelsesrige og citerede uddannelsesforskere. I Danmark har hans resultater for alvor inspireret politikere og forskere til at se på læring som noget, der kan måles og maksimeres via en systematisk indsats, hvor man opstiller mål for, hvor meget børn skal lære.

Men ikke alle er glade for den newzealandske forskers analyser. De er blevet massivt kritiseret blandt andet i bogen 'Hattie på dansk – evidenstænkning i et kritisk og konstruktiv perspektiv' med bidrag fra blandt andre Steen Nepper Larsen.

Statistik-professoren Peter Allerup er også kritisk – især over for de beregninger der ligger til grund, ikke bare for John Hatties liste, men også for andre metaanalyser og lodtrækningsforsøg på det pædagogiske felt.

Effektmålinger bliver misbrugt

Ifølge Peter Allerup er den gal med de statistiske metoder, John Hattie og andre bruger til at udregne effekten af pædagogiske indsatser.

»Problemet er, at de skalaer, man bruger til at måle børns færdigheder og trivsel, er uegnede til at blive lagt til grund for statistiske beregninger af effekt. Man bruger nogle meget firkantede regler for, hvornår noget er effektfuldt,« siger Peter Allerup og tilføjer:

»Indenfor den pædagogiske verden har vi desværre set et ret stort misbrug af effektstørrelser, efter at John Hattie publicerede sine metaanalyser.«

Når man udregner effektstørrelser sammenligner man tal, for eksempel antallet af ord, børnene kender, før og efter de har været udsat for en bestemt pædagogisk indsats.

Ifølge Peter Allerup er problemet – meget forenklet forklaret – at den effektstørrelse, man når frem til, er et gennemsnit. Derfor fortæller beregningerne for eksempel ikke noget om, hvor stor spredning der er i børnenes fremgang. De fortæller heller ikke noget om, hvorvidt indsatsen virker på lang sigt.

Hvis det er de dygtigste børn, der især har fået noget ud af en indsats, mens de mindre dygtige ikke har rykket sig, kan man ikke se det i statistikken.

Forskningsoversigter er for tal-fokuserede

Når man gennemgår forskningslitteraturen for at finde ud af, hvilke tiltag der virker bedst i praksis, er der også et andet problem end det rent statistiske, lyder det fra en anden forsker, som i sin ph.d. har kastet et kritisk blik på den metaanalytiske metode, man ofte bruger, når man systematisk gennemgår forskningslitteraturen for at finde ud af, hvilke sociale indsatser der er mest evidens for.

Ofte fokuserer de såkaldte forskningsreviews for snævert på de målelige resultater og alt for lidt på de forhold, der ligger til grund for effektstørrelserne, siger forskeren, Rikke Eline Wendt, der idag er ekstern lektor på Københavns Institut for Medierne, Erkendelse og Formidling.

»Formålet med at lave systematiske gennemgange af forskningslitteraturen på det sociale område er typisk at få viden om, hvilke indsatser man kan bruge i praksis. Men mange af de reviews, der bliver lavet, bidrager ikke med viden om praksis, for man sammenligner studier fra forskellige lande og forsøger at gøre begreber, som ikke er sammenlignelige, ens, for at kunne lave en sammentælling og udregne en effektstørrelse,« siger Rikke Eline Wendt.

Man går glip af vigtig viden

Ofte bliver enkelte studier sammenlignet uden at forskerne i deres konklusioner tager hensyn til de betingelser, studiet er lavet under, for eksempel:

• Hvilken type mennesker der har deltaget i forsøgene.
  
• Hvornår de er lavet.
  
• Hvor de er lavet og andre forhold, der kan have påvirket resultaterne, viser Rikke Eline Wendt i sin ph.d.

Når man ikke tager højde for, om der er noget særligt ved de studier, man sammenligner, som kan have haft indflydelse på resultaterne, går man glip af viden, der er relevant, når en indsats skal implementeres i praksis, siger Rikke Eline Wendt.

Poesi forsvinder i tal

Det kan være en god idé systematisk at gennemgå den forskning, der er publiceret, for at finde ud af, hvilke indsatser der er mest evidens for, siger Rikke Eline Wendt. Men hvis man skal kunne bruge resultaterne til noget i praksis, bør man i højere grad bruge metoder, som tager hensyn til den målgruppe og den praksis, indsatset skal rettes mod.

»Det betyder blandt andet, man man bør gå i dialog med praksis og forsøge at designe et review, der passer til de behov, der er. Det er altså ikke nok at vurdere studier udfra dets effektstørrelse eller forsøgsdesign,« siger Rikke Eline Wendt.

Steen Nepper Larsen er mere kritisk. Jagten på evidens har taget overhånd, og det skader vores børn, som bliver ofre for konkurrencestaten, mener han.

I artiklen 'Evidens-nitten kritiske aforismer', som blev publiceret i det videnskabelige tidsskrift Social Kritik i 2015, skriver Steen Nepper Larsen:

»Evidenstænkning drejer sig ikke om kærlighed til naturen, Big-Bang-teoriens tankekatapulterende indsigter, glæden ved at læse et vidunderligt digt eller optagetheden af at forstå, hvad der skete i 'de fem onde år' i Danmark.«