Medier videreformidler meningsmålinger uden at tage hensyn til usikkerheder

»Løkke står til at tabe til Thorning«, »Måling presser Dansk Folkeparti«, »Socialdemokraterne taber mere terræn til Venstre«.

Overskrifter som disse, der fokuserer på væddeløbet mellem de politiske partier, er hyppige i moderne mediers dækning af politik.

Fælles for overskrifterne er, at de baserer sig på meningsmålinger – en hjørnesten i mediedækningen.

I en indholdsanalyse af syv store danske aviser fandt vi, at der i de sidste 21 dage op til folketingsvalget i 2011 blev bragt ikke mindre end 238 artikler, som handlede om meningsmålinger af de danske vælgeres opbakning til de politiske partier.

Meningsmålinger har usikkerheder

En væsentlig udfordring for de forskere og journalister, der skal rapportere meningsmålinger, er dog, at målingerne er behæftet med usikkerhed.

Når man gennemfører meningsmålinger, spørger man af praktiske og økonomiske grunde ikke hele befolkningen, men blot et tilfældigt udsnit – typisk omkring 1.000 personer.

Hvis ellers målingen gennemføres efter alle kunstens regler, vil disse 1.000 personers holdninger gennemsnitligt set svare til holdningerne i hele befolkningen. Dog med en vis statistisk usikkerhed, fordi man netop kun spørger en begrænset del af befolkningen.

Nogle gange vil tilfældet, at man får fat i lidt for mange socialdemokrater i sin måling, andre gange vil man ramme lidt for mange konservative og så fremdeles.

Vi kan kun være 95 procent sikre

Jo færre mennesker man spørger, desto større er denne statistiske usikkerhed.

Usikkerhederne kan beregnes med en relativt simpel formel:

Spørger man eksempelvis 1.000 mennesker, hvoraf 25 procent svarer, at de vil stemme på Socialdemokratiet, er den statistiske usikkerhed 2,7 procentpoint.

Det betyder, at vi på baggrund af målingen kan sige med 95 procents sikkerhed, at mellem 22,3 og 27,7 procent af befolkningen vil stemme på Socialdemokratiet. 95 procents sikkerhed er den typiske standard, når man arbejder med meningsmålinger.

Sådan kan medierne tage højde for usikkerhed

Når medierne bruger meningsmålinger i deres artikler, kan de tage højde for den statistiske usikkerhed på to måder:

1. Aviserne kan oplyse læserne om, at der er en statistisk usikkerhed i målingen. Her bør medierne eksempelvis skrive, at meningsmålingen er baseret på 1.000 personer, og at den statistiske usikkerhed derfor er på +/- 2,7 procentpoint.
2. Aviserne kan selv tage højde for målingernes usikkerhed, når de kommenterer på resultaterne. Efter dette perspektiv bør en avis eksempelvis ikke skrive, at Socialdemokratiet nu oplever lavere opbakning end ved det sidste valgresultat på 26,3 procent, hvis meningsmålingen viser en opbakning på 25 procent, da dette tal er inden for den statistiske usikkerhed. Havde meningsmålingen i stedet vist en tilslutning på 21 procent, vil det derimod være rimeligt at skrive, at det er lavere end valgresultatet, da dette er langt uden for den statistiske usikkerhed.

For at undersøge nærmere, om medierne levede op til disse to krav – eller bare et af dem – analyserede vi alle artikler med meningsmålinger fra syv aviser i en periode på 260 dage i årene 2011-2012. I alt 672 artikler.

Aviser informerer ikke om meningsmålinger

Vi begyndte med at analysere, om avisartiklerne levede op til den første type af krav, nemlig at informere modtagerne om, at der er usikkerhed om målingerne.

I overensstemmelse med tidligere danske og internationale studier på området fandt vi, at dette kun sker i meget ringe grad.

Langt de fleste af artiklerne omtalte meningsmålinger i så vage termer, at det reelt var umuligt at identificere den eller de meningsmålinger, artiklen omhandlede.

Af de 175 artikler, der refererede til en identificerbar meningsmåling, var det kun 16 procent, der informerede læserne om, at der var statistisk usikkerhed knyttet til målingerne.

Endnu færre artikler oplyste om størrelsen på usikkerheden.

Medierne fokuserer på minimale forskelle

Er det så et udtryk for, at medierne i stedet for at overlade det til læseren at afgøre, om en måling er sikker eller ej, selv tager højde for målingers usikkerhed, når de præsenterer resultaterne for læseren?

For at undersøge dette, analyserede vi alle tilfælde, hvor medierne sammenlignede et resultat fra en meningsmåling med en anden meningsmåling eller et valgresultat.

Det synes ingenlunde at være tilfældet, at medierne i tilstrækkelig grad tager højde for usikkerhederne selv.

Af de 440 sammenligninger, artiklerne indeholdt, var omkring en tredjedel baseret på resultater, hvor forskellen var ét procentpoint eller mindre (se Figur 1).

En sådan forskel er meget lille, hvis man for eksempel sammenligner med usikkerheden på 2,7 procentpoint, som eksisterede i vores eksempel ovenfor.

Hele 67 procent af sammenligningerne omhandlede faktisk forskelle, som efter videnskabelige kriterier ikke ville betragtes som signifikant forskellige fra hinanden.

Selv om det naturligvis kan diskuteres, om medierne skal anlægge helt så stringente kriterier som forskere, er det bemærkelsesværdigt, hvor små forskelle der tolkes på.

Er misrapporteringen et problem?

Vores undersøgelse viser, at medierne baserer mange historier om politik og valgkampe på meningsmålinger, at læserne sjældent bliver informeret om disse målingers statistiske usikkerhed, og at medierne ikke selv frasorterer sammenligninger, der er statistisk usikre, men i stedet tolker på selv meget små forskelle.

Men er det et problem, at det forholder sig sådan?

Først og fremmest er det et indlysende problem for medierne, når man tager de alment accepterede journalistiske kriterier om troværdighed og nøjagtighed i betragtning.

Mediernes meningsmålingsrapportering støder ganske enkelt imod nogle helt centrale normer blandt medierne selv.

Tendensen er dog også et problem for samfundet mere generelt, hvis vi stræber efter, at samfundsdebatten skal foregå på et oplyst og objektivt grundlag.

Rapporteringen er særlig problematisk, idet studier indikerer, at både befolkningens og politikernes adfærd til tider kan påvirkes af meningsmålinger.

Kan problemet løses?

Et vigtigt spørgsmål er naturligvis også, hvad man kan gøre ved problemet.

En fremgangsmåde er i højere grad at basere artikler på aggregeringer, en samling af data, på tværs af flere meningsmålinger, da dette mindsker usikkerheden – hvad der da også i de seneste år har vundet stigende indpas i Danmark.

Begrænsningen er dog, at det kun er muligt et lave aggregeringer på nogle meget få områder, hvor der gennemføres adskillige enslydende målinger med korte mellemrum, og selv aggregering af mange meningsmålinger fjerner ikke usikkerheden helt.

Om mønsteret kan ændres, kommer i nogen grad an på, hvad den bagvedlæggende årsag er.

Nogle studier peger på, at en del af problemet kan ligge i journalisters manglende kompetencer inden for kvantitative metoder.

Hvis dette er tilfældet, kan problemet måske løses ved at forbedre den metodiske undervisning på journalistiske uddannelser.

En anden mulighed er dog, at udokumenterede meningsmålingshistorier er drevet af mediernes ønske om at levere interessante væddeløbshistorier og måske tilsvarende interesse fra læserne om at få leveret sådanne historier.

Dette kan presse medierne til at publicere historier, som, de godt ved, er for usikre.

Hvis dette er tilfældet, kan udokumenterede meningsmålingshistorier måske være et permanent og uundgåeligt karakteristika ved moderne nyhedsformidling.