Hvad kommer der ud af al den evaluering?

»Evaluering. Suk! Nu igen…«

Hvis det er den følelse, du får af evaluering, tænker du lidt som en evalueringsforsker.

Da man begyndte med at evaluere på offentlige programmer i 1960’ernes USA, gik det hånd i hånd med spørgsmålet om anvendelse af evalueringerne. Det vil sige, at evalueringsforskere også var interesserede i at finde ud af, hvad evalueringerne egentlig blev brugt til.

I udgangspunktet havde såvel forskere som evaluatorer et billede af en perfekt verden, hvor evalueringerne ville pege på problemer, som evaluatorerne ville identificere løsninger på, som straks ville blive implementeret, og så ville problemerne forsvinde. Meget sigende blev det kaldt ’instrumentel anvendelse’.

Men lige fra evalueringernes spæde begyndelse har der været tilbagevendende beklagelser blandt evaluatorer om, at deres evalueringer, og de anbefalinger der fulgte heraf, netop ikke blev anvendt.

Som et naturligt resultat har der været en nysgerrig forskning i, hvad evalueringerne egentlig blev anvendt til. Fordi man kunne se, at der skete et eller andet, når der blev evalueret, men man havde svært ved at få tag på, hvad der skete.

Der mangler forskning på området

I min naivitet troede jeg derfor, meget naturligt, at den forskning også ville forholde sig til spørgsmålet om, hvad der kommer ud af al den evaluering.

Men en nærmere undersøgelse viste, at det, der går under navnet anvendelsesforskning, i høj grad handler om netop det spørgsmål: de utallige måder, hvorpå evalueringer anvendes. De anvendes symbolsk, legitimerende, politisk, kontrollerende osv.

Man kan sige, at den forskning fokuserer på input-siden – ikke på output-siden. Forklaring følger.

Det gjorde mig for alvor nysgerrig. Med udgangspunkt i dansk og international forskning undersøgte jeg derfor, hvad forskere mener at vide om evalueringers bidrag til en ny og bedre verden.

Resultatet blev publiceret i Samfundsøkonomen og er noget forstemmende: Vi ved så godt som intet om evalueringers konsekvenser for de evaluerede aktiviteter.

Alt, hvad jeg med møje kunne presse ud af 15 centrale internationale studier, var, at evalueringerne førte til henholdsvis:

»Beslutninger, programtilpasning eller forbedring, et nyudviklet kursus, læring, ændring af strategi eller holdninger og endelig gennemførsel af anbefalinger«.

Der er bestemt tale om forandringer (på input-siden!), men der er intet i studierne, som underbygger, at de forandringer også sætter sig igennem i form af forbedringer for ’kunderne’ (output-siden!).

Når der eksempelvis tages en beslutning eller gennemføres et lovforslag, så betragtes det implicit som noget virksomt, der helt automatisk fører til en øget grad af målopfyldelse.

Men det kan man ret beset ikke vide noget om. At man fyrer en dårlig lærer, fører ikke nødvendigvis til ansættelsen af en god.

Evalueringer bruges som kvalitetsstempel

Jeg efterlyser derfor studier, der følger op på, om evaluerede programmer også kommer til at fungere bedre – eller værre?

Et dansk studie af konsekvenserne af, at man nu evaluerer undervisning, viste således, at det hæmmede læringen. Både for undervisere og de underviste. Hvilket i øvrigt blev tilskrevet ledelsens uhensigtsmæssige brug af evalueringerne; ikke evalueringerne i sig selv!

Mine drilske spørgsmål har bestemt ikke vundet genklang blandt evaluerings-forskere, som de er flest. En type af afvisning har været, at jeg er (farligt) naiv. Jeg må jo kunne forstå, at det slet ikke er meningen med evalueringer, at de skal føre til synlige og varige forbedringer.

Hovedformålet med evalueringer er i den optik primært symbolsk. Måske bedst illustreret med et klip fra min lokalavis Vores Avis, d. 10.5.2016:

»Forsøget slutter til sommerferien, hvor Matting vil starte en evaluering, som skal hjælpe institutionerne til at se den positive virkning af hæve-sænke-borde i klassemiljøer«.

Konklusionen er skrevet på forhånd, så hvorfor egentlig evaluere?

Mange evalueringsforskere vil forklare nødvendigheden af evaluering med, at det slet ikke handler om at forbedre driften, men om kontrol, styring, politik, symboler, ritualer og udvisning af handlekraft.

I nogle tilfælde er løftet om en evaluering det lille skub, som embedsmændene må give politikerne for at få dem til acceptere et nyt tiltag. I andre tilfælde evaluerer vi, fordi vi skal. Fordi selve det, at en aktivitet evalueres, nu bliver set som et kvalitetsstempel.

Men selv indenfor denne kyniske tilgang, som flere af vores førende danske evalueringsforskere abonnerer på, har man erkendt, at også ritualiserede evalueringer kan have meget virkelige konsekvenser. Vi ved bare ikke noget om de konsekvenser. Men virkelige det er de, kan vi forstå.

Dokumentationen mangler

En anden type af modargument har været, at evalueringer faktisk virker. At det har givet bedre undervisning. At det er et nyttigt instrument til at forandre og udvikle organisationer.

Mit simple spørgsmål er: hvorfor dokumenterer I det så ikke?

Jeg er også blevet mødt med det klassiske ad absurdum-argument: »Er det så bedre helt at lade være med at evaluere?« Men problemet er jo netop, at den slags Clement Kjersgaards-agtige spørgsmål hverken kan eller vil jeg svare ja eller nej til. For det er netop det, som vi mangler viden om,

Poul Thøis Madsen, Medieøkonom ved Dansk Medie- og Journalisthøjskole

Her står vi imidlertid med det grundproblem, at vi mangler metoder til at påvise, at evalueringer rent faktisk gavner driften. Skudsikker evidens ville kræve, at vi tænker evalueringerne væk, og så ser på, hvordan verden ville have set ud uden en evaluering. Det er ikke let.

Udover sådanne kontrafaktiske metodeproblemer kan man nok heller ikke se bort fra, at ingen, udover nørdede forskere som undertegnede, rigtig har en interesse i at undersøge, om det kan betale sig at evaluere.

Der er en stor evalueringsindustri, som lever og har det godt. Helt uden at stille eller prøve at besvare den slags besværlige spørgsmål.

Evalueringer er dyre

Summa summarum: Evalueringer er i høj grad noget, som vi tror på.

Bl.a. fordi store dele af de milliarder (!), der er brugt og vil blive brugt på evaluering, ellers kan vise sig at være spildte. Og ville vi virkelig bruge så mange penge, hvis vi ikke med stor sikkerhed vidste, at der kom noget ud af det?

Nej, det er da helt utænkeligt. Eller er det?

Kan vi som borgere være tjent med tingenes tilstand? Hertil kan jeg til gengæld som borger, ikke forsker, svare helt klart: Nej!

Derfor vil jeg bede dig gøre det til en borgerpligt at spørge ind til, hvad svarene skal bruges til, næste gang du deltager i en evaluering. Og spørg også om: Bliver der også evalueret på, hvorvidt eventuelle ændringer som følge af evalueringen fører til forbedringer? Er der måder, hvorpå du kan bidrage til, at det faktisk sker?

Hvis ikke, hvorfor skal vi så deltage i evalueringer? Spørg bare. Som en anden Spørgejørgen. Eller måske snarere barnet i Kejserens nye klæder.

I det mindste vil det tvinge evaluatorerne og de, der betaler musikken, til at tænke sig om. Det kan vel aldrig skade.

P.S. Jeg har selv både gennemført og deltaget i en række evalueringer, som jeg tror, har ført til forbedringer. Men jeg ved det ikke, og jeg har heller ikke undersøgt det. Det burde jeg nok have gjort. Bare lidt.