Hvor dårlig var DR's exitprognose?

Det må være hårdt at være nyhedsmedie på en valgdag. Alle venter på resultatet eller gode bud på resultatet. Og man vil gerne være først med det. Men stemmestederne lukker først klokken 20, og da det helt sikkert er en anden type mennesker, der stemmer klokken kvart i otte om aftenen end kvart over ni om morgenen, er det vanskeligt at give et godt bud tidligt.

Men det afholdt ikke DR fra at prøve alligevel. Tidligt på eftermiddagen kunne de slå en stor nyhed op: Rød blok stod til massiv tilbagegang. Værst så det ud for Socialdemokraterne, der ifølge prognosen stod til et rent katastrofevalg med kun 22,7 procent af stemmerne.

I en infoboks kan man læse, at den maksimale statistiske usikkerhed for et parti er +/- 3,6 procentpoint. Prognosen var baseret på 744 respondenter. Denne usikkerhed tager formentlig højde for vægtning og sampling strategi, og det er derfor ikke muligt for os at estimere den præcise usikkerhed omkring Socialdemokraterne. Men hvis vi lader tvivlen komme DR til gode og antager, at den er 3,6 procentpoint, vil det sige, at hvis DR's måling var lavet ordentligt, kunne man på det tidspunkt være 95 procent sikker på, at Socialdemokraternes tilslutning til valget ville blive mellem 19,1 og 26,3 procent.  Det blev den imidlertid ikke.

De fik 29,5 procent af stemmerne.

Er det et tilfælde?

DR ramte altså ikke bare ved siden af. De ramte langt ved siden af. I dag er der da også massiv kritik af DR fra forskere, medier og politikere. Vi kunne have givet mange flere lignende links. DR beklager da også, at de bragte en upræcis prognose, og de siger, at de fremover ikke vil bringe prognoser så tidligt.

Men er der måske grund til at slå koldt vand i blodet? Ovenfor skrev vi, at vi ud fra DR's prognose kun kunne være 95 % sikre på, at Socialdemokraternes sande tilslutning lå mellem 19,1 og 26,3 procent af stemmerne. Det betyder, at der også er 5 procents sandsynlighed for, at den ville ligge uden for. Hvilket den viste sig at gøre. Kan DR og Epinion, der lavede prognosen, ikke bare have været uheldige? Det kan ikke afvises, men det er meget usandsynligt? Hvor usandsynligt?

Da der var valg i går, er vi i den heldige situation, at vi kender Socialdemokraternes sande tilslutning. Det giver os mulighed for at beregne, hvor sandsynligt det er at få en tilslutning for Socialdemokraterne, der afviger ligeså meget eller mere, som den i DRs prognose. Sandsynligheden for det er 0,005 procent. Det vil ske cirka en ud af 20.000 gange.

Vi tror mere på, at DRs måling har været dårlig end uheldig.

Men er det ikke bedre end ingenting?

Vi har indtil videre fokuseret på Socialdemokraterne, fordi det her er mest åbenlyst, at exit-prognosen rammer mest ved siden af. Ser man på de andre partier, er det ikke kønt, men det er klart mindre skævt end for Socialdemokraterne. Så kunne prognosen måske alligevel fortælle os noget, vi ikke vidste i forvejen?

For at besvare det spørgsmål kan man se på, hvor skævt den samlet ramte. Et udmærket mål for dette er udviklet af politologen Michael Gallagher, og hedder Gallaghers indeks. Det måler graden af disproportionalitet mellem en måling, og det faktiske resultat. Værdien nul svarer til, at der er fuldstændig overensstemmelse mellem målingen og resultatet.

Havde man brugt det seneste kommunalvalg til at forudsige tilslutningen for partierne havde man fået en disproportionalitet på 7,8. Disproportionaliteten mellem DR's prognose, og valgresultatet var 5,7. Det er bedre end bare at bruge det seneste valg, men ikke meget. Til sammenligning er disproportionaliteten mellem den forudsigelse vi lagde op i går og resultatet 1,7. Det havde altså været markant bedre at bruge en samling af de målinger, der fandtes i forvejen – selvom vi også skød Socialdemokraterne lidt for lavt, når vi gjorde det.

Hvorfor så skævt?

Vores forudsigelse byggede på meningsmålinger offentliggjort inden valget. Og de rammer væsentligt bedre end DR's exit-prognose. Hvad kan være gået galt?

For det første kan vi udnytte, at de mange undersøgelser tilsammen har flere deltagere. Det reducerer de tilfældige fejl. Men ovenfor så vi, at DR's vildskud næppe skyldtes tilfældige fejl alene. Der har også været systematiske fejl. Hvordan kan de have sneget sig ind?

Det indlysende svar er, at Epinion er kommet til at undersample socialdemokratiske vælgere systematisk. Det kan der være en række årsager til. Det er for det første åbenlyst, at det næppe er et repræsentativt udsnit af vælgerne, der stemmer inden klokken 14. Det ved Epinion godt, og de har utvivlsomt haft en model, hvor de forsøgte at tage højde for dette.

En anden ting, der kan bidrage til forklaringen, er, at det kun var omkring 7 ud af 10, der stemte, samt at vi i går så en pæn stigning i valgdeltagelsen. En del af exit-prognosen var foretaget inden valget. Her har Epinion utvivlsomt prøvet at korrigere for, hvem der ville stemme. Det kan tænkes, at det ikke er lykkes tilstrækkeligt.

Endelig er det formentlig bare sværere at forudsige kommunalvalgsresultatet, fordi der er nogle mere lokalspecifikke forhold, der gør sig gældende, og det er svært at korrigere nøjagtigt for dem. Det skaber ganske enkelt større usikkerhed omkring de estimater, man får.

Alle disse ting er Epinion uden tvivl selv klar over, og man må formode, at de også prøver at finde ud af, hvordan de kan justere deres modeller, så de kan opnå en præcision, de kan være tilfredse med en anden gang.

DR siger, at de fremover vil vente med at bringe exit-prognoser til senere. Det gør de sikkert klogt i. Ligesom de, og andre, gør klogt i at huske på, at man altid, altid, altid skal have en sund portion skepsis, når man ser usikre målinger med et meget overraskende resultat.