Benchmarks og ranglister: Dine forventninger farver din opfattelse af fakta
Gør borgeroplysning i form af benchmarks og ranglister os klogere på, hvilke offentlige organisationer gør det godt? Ny forskning viser, at mange systematisk fejlvurderer indholdet af den type information, og at det skyldes deres egne forudgående forventninger.

At læse utallige kvalitetsrapporter, ranglister og benchmark-undersøgelser gør dig ikke nødvendigvis klogere. Dine forventninger har nemlig stor betydning for, hvordan du opfatter den information.
(Foto: Shutterstock)

 

Er du blandt de mange danskere, som har skullet vælge mellem forskellige skoler, børnehaver eller vuggestuer til dine børn? Eller har du skullet foretage et valg mellem forskellige leverandører af hjemmehjælp?

Hvis du er, har du måske læst i nogle af de mange kvalitetsrapporter, ranglister og benchmark-undersøgelser, som offentliggøres blandt andet for at sætte borgerne i stand til at træffe informerede valg.

Men al denne information gør os ikke nødvendigvis klogere. Vores forventninger har nemlig stor betydning for, hvordan vi læser og opfatter den information, vi modtager. Hvis man har en forventning om, at private leverandører præsterer bedre end offentlige, er man mere tilbøjelig til at fortolke private organisationer i et positivt lys.

Det gælder, uanset om den information, der er til rådighed, rent faktisk viser, at den private organisation præsterer bedre end den offentlige, eller omvendt.

Eksperimenter om forventninger og benchmarks

En række eksperimenter, som jeg har foretaget i samarbejde med kolleger ved Aarhus Universitet, har ført til denne konklusion.

I eksperimenterne måler vi først deltagernes generelle forventninger til offentlige og private leverandører. Herefter præsenterer vi nogle af deltagerne for information, hvor en offentlig og en privat organisation - f.eks. en folkeskole og en privatskole - sammenlignes, men hvor den ene objektivt set har præsteret bedre end den anden.

Deltagerne bliver bedt om at svare på, hvilken af de to organisationer, der har klaret sig bedst. Ved at sammenholde deltagernes forventninger med deres svar på, hvilken organisation præsterer bedst, kan vi måle, om forventningerne har betydning for deres evne til at svare korrekt på spørgsmålet.

For at sikre at vores resultater i eksperimentet ikke simpelthen afspejler, at for eksempel deltagere, som er positivt stemt overfor private udbydere, er bedre til at svare korrekt end deltagere med positive holdninger til offentlige udbydere, præsenterer vi en anden gruppe af deltagere for tilsvarende information. Den eneste forskel er, at det nu er to offentlige organisationer, benævnt A og B, der sammenlignes.

Forventninger påvirker, hvordan vi fortolker information

Vi antager, at deltagernes holdninger til, om offentlige serviceydelser skal produceres af offentlige eller private udbydere, ikke generelt har nogen betydning for deres evne til at svare korrekt. Hvis vi har ret, bør der blandt de deltagere, som har fået til opgave at sammenligne to offentlige organisationer, ikke være nogen sammenhæng mellem deres forventninger og deres evne til at svare korrekt.

Vores eksperimenter viser at vi har ret i denne antagelse. Til gengæld har deltagernes forventninger markant betydning for deres evne til at svare korrekt på spørgsmålet om, hvorvidt den offentlige eller private organisation præsterer bedst.

Figur 1: Styrke af information og andel af korrekte fortolkninger fordelt på deltagere som hhv. forventer at offentlige og private leverandører præsterer bedst. Eksperiment hvor information viser, at privat organisation præsterer bedst.

Her svarer 80 procent korrekt blandt dem, hvor informationen er i overensstemmelse med deres forventninger, mens blot 52 procent svarer korrekt blandt dem, hvor der er størst modstrid mellem deres forventninger og den information, de har modtaget.

 

Forventningerne styrer endnu mere, hvis der gives mere information

Vores forventninger kan altså påvirke evnen til at fortolke benchmarks korrekt. Men kan det lade sig gøre helt at fjerne betydningen af forventningerne, hvis vi præsenteres for mere overbevisende information?

For at undersøge dette spørgsmål udfører vi et nyt eksperiment, hvor vi sammenligner forventningernes betydning for evnen til at svare korrekt for tre grupper af deltagere. Den eneste forskel mellem de tre grupper er, at de får en stigende mængde information, som peger i retning af den samme konklusion: I dette tilfælde at den private organisation præsterer bedst.

Hvis borgerne kan overbevises om indholdet af informationen, blot de modtager mere overbevisende information, vil dem med en forventning om, at offentlige leverandører præsterer bedst, blive bedre og bedre til at svare korrekt på spørgsmålet, i takt med at de modtager mere information.

Figur 1 viser imidlertid, at det ikke er tilfældet. Tværtimod bliver denne gruppe af deltagere faktisk ringere til at svare på spørgsmålet, når de modtager mere overbevisende information.

Kun dem, der forventer, at private leverandører præsterer bedst, og som derfor i forvejen i høj grad besvarer spørgsmålet korrekt, bliver bedre til at fortolke informationen rigtigt, når de modtager mere overbevisende information.

 

Kan information bruges som kilde til oplysning for borgerne?

Undersøgelsen viser altså, at dem, som modtager information, der er i modstrid med deres forventninger, har en tendens til systematisk at fejlfortolke indholdet af informationen. Og mere overbevisende information gør kun tendensen mere udtalt.

Resultatet illustrerer dermed, at megen af den information, som produceres i den offentlige sektor, måske har en mindre oplysende effekt, end man umiddelbart skulle tro.

Det er ikke det samme som at sige, at benchmark-undersøgelser og ranglister er værdiløse. Der kan være mange andre formål med at offentliggøre dem. Men resultatet kan give anledning til at overveje, om det altid er værd at bruge tid og ressourcer på at producere information, som måske ikke har den effekt, som man ønsker fra myndighedernes side.

Videnskab.dk Podcast

Lyt til vores seneste podcast herunder eller via en podcast-app på din smartphone.


Se den nyeste video fra Tjek

Tjek er en YouTube-kanal om videnskab og sundhed henvendt til unge.

Indholdet på kanalen bliver produceret af Videnskab.dk's Center for Faglig Formidling med samme journalistiske arbejdsgange, som bliver anvendt på Videnskab.dk.


Ugens videnskabsbillede

Se flere forskningsfotos på Instagram, og læs nyt om fusionsenergi, som DTU med forsøgsreaktoren på billedet nedenfor - en såkaldt tokamak - nu er kommet lidt nærmere.