Forskere: DR og Epinion spillede hasard med vild exit-prognose

Et af de mest omdiskuterede emner i dagene efter kommunalvalget 2013 var DR’s overraskende upræcise exit-prognose. Prognosen skød Socialdemokraternes opbakning 7,5 procentpoint under det faktiske resultat.

I dagene efter haglede kritikken ned over Epinion og DR, og som en del af efterspillet bad de professor i statskundskab Søren Risbjerg Thomsen (SRT) undersøge, hvad der gik galt. Han er – også i vores øjne – en af landets førende forskere inden for meningsmålinger. Et naturligt valg.

Torsdag 23. januar kom hans rapport. Hans centrale konklusion er, at ”der var rimelige videnskabelige argumenter for holdbarheden, samt af den usikkerhedsangivelse, som Epinion sendte sammen med prognosen til DR kl. 14:45”. SRT vil således ikke klandre Epinion for prognosen.

Vi har læst rapporten. Den er solidt lavet, og vi har som sådan ikke en finger at sætte på håndværket. Alligevel er vi ikke overbevist om dens centrale konklusion. Uenigheden bunder sådan set ikke i rapportens analyser eller argumenter, men vi har et andet syn på, hvilke konklusioner man kan drage på baggrund af disse.

Kort sagt mener vi, at SRT kommer til at vende bevisbyrden lidt på hovedet. Selvom der måske ikke var stærke erfaringer, der talte imod at lave exit-prognosen, var der heller ikke meget, der talte for, at dens resultater ville være valide. For os at se er det et spørgsmål om, hvorvidt vi bør kunne forvente, at en prognose, der får massiv mediedækning, hviler på et solidt, gennemprøvet fundament.

Det mener vi, at man bør.

Det var ikke til at sige, om prognosen var dårlig

Lad os, inden vi uddyber vores argument, starte med en disclaimer. SRT har som en del af sit arbejde med rapporten fået indsigt i de konkrete indsamlingsmetoder samt det data, som Epinion anvendte i forbindelse med exit-prognosen. Det har vi ikke haft adgang til, hvorfor vores diskussion af exitprognosen kun er baseret på, hvad vi kan læse af rapporten.

Et af SRT’s grundlæggende argumenter for, at DR og Epinion havde sit på det tørre, da de offentliggjorde exitprognosen, var, at de ikke kunne forudsige, at den konkrete exit-prognose ville være så skæv.

Prognosen var baseret på en mindre gruppe vælgere, der var spurgt, efter de havde stemt, og en større gruppe, der var blevet spurgt, før de havde stemt. En uortodoks konstruktion, som Epinion imidlertid også havde brugt ved Folketingsvalget 2011.

SRT peger korrekt på, at Epinion havde gode erfaring fra Folketingsvalget med lignende exit-prognoser, hvorfor de ikke kunne forudse, at deres famøse exit-prognose skulle være problematisk.

Intet tydede på, at Epinions exit-prognose var god

Det kan virke meget rimeligt. Hvordan skulle man vide på forhånd, at det ville gå galt? Imidlertid er der flere ting i rapporten, der peger på, at selvom DR og Epinion ikke kunne vide med sikkerhed, at det ville gå galt, så kunne de heller ikke vide, at det ville gå godt.

SRT peger som skrevet på, at Epinion ved Folketingsvalget i 2011 havde succes med en prognose, der også var et mix af vælgere, der allerede havde stemt, og vælgere, der var spurgt, inden de havde stemt.

SRT skriver også, at det generelt er sværere at få præcise målinger for valgresultatet på landsplan ved et kommunalvalg, hvis man spørger vælgerne inden valget. Det kommer til udtryk ved, at meningsmålinger foretaget inden et kommunalvalg normalt rammer mere ved siden af, end meningsmålinger foretaget inden et folketingsvalg.

SRT fremhæver dette fænomen som forklaringen på, at Epinions prognose ramte så dårligt – og afviser, at Epinion burde have haft kendskab til dette. I stedet konkluderes, at det først er dette valg, der har givet os denne lektie. Altså, prognosens fejlskud kunne ikke forudses, derfor har Epinion ikke rigtigt gjort noget forkert.

Exit-prognoser skulle have været testet internt, ikke på DR

Vi er ikke uenige i de argumenter SRT præsenterer, men er alligevel ikke enige i hans konklusion. Prognosen ved kommunalvalget blev offentliggjort 14.50. Ved folketingsvalget i 2011 blev prognosen bragt klokken 17.05, fremgår det af rapporten. Altså to timer og 15 minutter senere på valgdagen.

Læg dertil, at kommunalvalg normalt er sværere at forudse. Vi mener, at man på den baggrund burde have været mere forsigtige med at udgive en måling baseret på en relativt uprøvet metode.

Mere grundlæggende er vi af den opfattelse, at en mangel på tungtvejende argumenter imod noget, ikke er det samme som, at der argumenter for at gøre det. Metoden burde have været testet internt i Epinion og ikke i det offentlige rum af DR. Og af alle de medier, der løb med på historien. Ingen nævnt, ingen glemt.

Målingen var også skæv

Hvorfor gik det så galt for prognosen? SRT peger primært på, at der er større usikkerhed ved et kommunalvalg, når man spørger vælgerne, inden de har stemt. Men en række målinger, foretaget inden valget af andre institutter end Epinion, rammer mere præcist end både Epinions exitprognose og deres seneste måling inden valget.

Det tyder på, at Epinion kan have haft et ekstra problem. Det vigtigste princip for meningsmålinger er ”tilfældighedsprincippet”. For at sikre repræsentativitet skal alle vælgere have lige stor sandsynlighed for at blive udvalgt til meningsmålingen.

Det fremgår af rapporten, at Epinion havde spurgt 7.726 respondenter. Langt størstedelen af disse var imidlertid spurgt før valgdagen i særligt udvalgte kommuner. Altså ikke et tilfældigt udsnit.

Dette kan man i princippet veje sig ud af, hvilket Epinion da også har forsøgt, hvorfor de er endt på de omkring 750 respondenter. Af rapporten fremgår det ikke direkte hvordan. Men givet at andre målinger inden valget viste sig mere præcise end Epinions, er der noget, der tyder på, at den vægtning Epinion har foretaget ikke har formået at kompensere for de skævheder, der har været i deres indsamlingsmetode.

Det kunne Epionien have gjort bedre

Det skal til Epinions forsvar siges, at det inden et valg er svært at vide, hvem der rammer bedst, da det, man forsøger at forudsige, valgresultatet, er ukendt. Det er derfor kun i bagklogskabens lys muligt at vide, hvem der rammer mest præcist.

Men burde Epinion alligevel have vidst, at de ramte skævt? Der var i hvert fald en indikation på det: prognosens resultater lå et pænt stykke fra Voxmeter og Gallups målinger, der var indsamlet lige før valget.

Det er alment kendt, at enkelte, veludførte meningsmålinger kan være skæve. Det er et resultat af det tilfældighedsprincip, der bør ligge til grund for ens meningsmålinger.

Gennemsnit af meningsmålinger på tværs af forskellige institutter rammer til gengæld næsten altid rimelig præcist. Selvom man som meningsmålingsinstitut naturligvis er overbevist om, at ens metode er den bedste på markedet, bør man alligevel tænke sig om en ekstra gang, før man sender en måling ud, der ligger meget langt fra målinger indsamlet over den samme periode.

Kunne DR's forkerte prognose forudses?

Nej, hvis man skal tro en overskrift om rapporten fra DR.dk sidste torsdag.

SRT har ret i, at der ikke er direkte belæg for at påstå, at Epinion skulle have vidst, at metoden til exit-prognosen i sig selv var problematisk. Men de kunne heller ikke vide, at den ville virke. Læg dertil, at man ignorerer, at ens måling giver et resultat der ligger milevidt fra alle andre målinger. Vi mener, at det burde have afholdt Epinion og DR fra at bringe den.

Læren for exit-prognosen er altså bredere end som så. Den beror ikke blot på en relativt uprøvet metode, men også en lidt for uforsigtig omgang med meningsmålinger.

Konkret mener vi, at hvis medierne reelt set ønsker at undgå en lignende fadæse, bør de følge tre anbefalinger:

1. For det første er det offentlige rum ikke et passende sted at afprøve nye metoder.
   
2. For det andet bør overvejelserne omkring én målings værdi ikke slutte, når man har indsamlet data. Sammenlign resultatet med andre meningsmålinger, der er kommet ud. Ligger resultaterne langt fra de andre aktuelle og pålidelige målinger? Så er det mest sandsynlige, at der er noget galt med den nye måling.
   
3. For det tredje bør medier og meningsmålingsinstitutter være langt mere gennemsigtige omkring, hvordan en måling er indsamlet. Det kunne ske ved at gøre data og indsamlingsmetoder offentligt tilgængelige. Medieforbrugere og redaktører fra andre medier kan da bedre selv vurdere, om de mener, at de procedurer, der er anvendt, er tilfredsstillende.

Hvis ikke disse tre anbefalinger overholdes, kan vi sagtens forestille os at der kommer en måling på valgdagen, der er ligeså skæv som exit-prognosen på DR.