Poltisk kompas på journalisten.dk

I dag har Politisk Kompas en analyse i fagbladet Journalisten. Den handler om meningsmålinger, og berør flere af de emner vi har været omkring her på bloggen. Analysen kan læses her.

Vi synes det er fedt, at Journalisten tager mediedækning af  meningsmålinger op til diskussion, og vi håber, det resulterer i bedre og mere retvisende journalistiske historier i fremtiden. Lidt i retning af den selvkritik læsernes redaktør på Politiken, Bjarne Schilling, rettede mod sin egen avis i søndags.

Det er der i hvert fald brug for.  

Hvor dårlig var DR's exitprognose?

Det må være hårdt at være nyhedsmedie på en valgdag. Alle venter på resultatet eller gode bud på resultatet. Og man vil gerne være først med det. Men stemmestederne lukker først klokken 20, og da det helt sikkert er en anden type mennesker, der stemmer klokken kvart i otte om aftenen end kvart over ni om morgenen, er det vanskeligt at give et godt bud tidligt.

Men det afholdt ikke DR fra at prøve alligevel. Tidligt på eftermiddagen kunne de slå en stor nyhed op: Rød blok stod til massiv tilbagegang. Værst så det ud for Socialdemokraterne, der ifølge prognosen stod til et rent katastrofevalg med kun 22,7 procent af stemmerne.

I en infoboks kan man læse, at den maksimale statistiske usikkerhed for et parti er +/- 3,6 procentpoint. Prognosen var baseret på 744 respondenter. Denne usikkerhed tager formentlig højde for vægtning og sampling strategi, og det er derfor ikke muligt for os at estimere den præcise usikkerhed omkring Socialdemokraterne. Men hvis vi lader tvivlen komme DR til gode og antager, at den er 3,6 procentpoint, vil det sige, at hvis DR's måling var lavet ordentligt, kunne man på det tidspunkt være 95 procent sikker på, at Socialdemokraternes tilslutning til valget ville blive mellem 19,1 og 26,3 procent.  Det blev den imidlertid ikke.

De fik 29,5 procent af stemmerne.

Er det et tilfælde?

DR ramte altså ikke bare ved siden af. De ramte langt ved siden af. I dag er der da også massiv kritik af DR fra forskere, medier og politikere. Vi kunne have givet mange flere lignende links. DR beklager da også, at de bragte en upræcis prognose, og de siger, at de fremover ikke vil bringe prognoser så tidligt.

Men er der måske grund til at slå koldt vand i blodet? Ovenfor skrev vi, at vi ud fra DR's prognose kun kunne være 95 % sikre på, at Socialdemokraternes sande tilslutning lå mellem 19,1 og 26,3 procent af stemmerne. Det betyder, at der også er 5 procents sandsynlighed for, at den ville ligge uden for. Hvilket den viste sig at gøre. Kan DR og Epinion, der lavede prognosen, ikke bare have været uheldige? Det kan ikke afvises, men det er meget usandsynligt? Hvor usandsynligt?

Da der var valg i går, er vi i den heldige situation, at vi kender Socialdemokraternes sande tilslutning. Det giver os mulighed for at beregne, hvor sandsynligt det er at få en tilslutning for Socialdemokraterne, der afviger ligeså meget eller mere, som den i DRs prognose. Sandsynligheden for det er 0,005 procent. Det vil ske cirka en ud af 20.000 gange.

Vi tror mere på, at DRs måling har været dårlig end uheldig.

Men er det ikke bedre end ingenting?

Vi har indtil videre fokuseret på Socialdemokraterne, fordi det her er mest åbenlyst, at exit-prognosen rammer mest ved siden af. Ser man på de andre partier, er det ikke kønt, men det er klart mindre skævt end for Socialdemokraterne. Så kunne prognosen måske alligevel fortælle os noget, vi ikke vidste i forvejen?

For at besvare det spørgsmål kan man se på, hvor skævt den samlet ramte. Et udmærket mål for dette er udviklet af politologen Michael Gallagher, og hedder Gallaghers indeks. Det måler graden af disproportionalitet mellem en måling, og det faktiske resultat. Værdien nul svarer til, at der er fuldstændig overensstemmelse mellem målingen og resultatet.

Havde man brugt det seneste kommunalvalg til at forudsige tilslutningen for partierne havde man fået en disproportionalitet på 7,8. Disproportionaliteten mellem DR's prognose, og valgresultatet var 5,7. Det er bedre end bare at bruge det seneste valg, men ikke meget. Til sammenligning er disproportionaliteten mellem den forudsigelse vi lagde op i går og resultatet 1,7. Det havde altså været markant bedre at bruge en samling af de målinger, der fandtes i forvejen – selvom vi også skød Socialdemokraterne lidt for lavt, når vi gjorde det.

Hvorfor så skævt?

Vores forudsigelse byggede på meningsmålinger offentliggjort inden valget. Og de rammer væsentligt bedre end DR's exit-prognose. Hvad kan være gået galt?

For det første kan vi udnytte, at de mange undersøgelser tilsammen har flere deltagere. Det reducerer de tilfældige fejl. Men ovenfor så vi, at DR's vildskud næppe skyldtes tilfældige fejl alene. Der har også været systematiske fejl. Hvordan kan de have sneget sig ind?

Det indlysende svar er, at Epinion er kommet til at undersample socialdemokratiske vælgere systematisk. Det kan der være en række årsager til. Det er for det første åbenlyst, at det næppe er et repræsentativt udsnit af vælgerne, der stemmer inden klokken 14. Det ved Epinion godt, og de har utvivlsomt haft en model, hvor de forsøgte at tage højde for dette.

En anden ting, der kan bidrage til forklaringen, er, at det kun var omkring 7 ud af 10, der stemte, samt at vi i går så en pæn stigning i valgdeltagelsen. En del af exit-prognosen var foretaget inden valget. Her har Epinion utvivlsomt prøvet at korrigere for, hvem der ville stemme. Det kan tænkes, at det ikke er lykkes tilstrækkeligt.

Endelig er det formentlig bare sværere at forudsige kommunalvalgsresultatet, fordi der er nogle mere lokalspecifikke forhold, der gør sig gældende, og det er svært at korrigere nøjagtigt for dem. Det skaber ganske enkelt større usikkerhed omkring de estimater, man får.

Alle disse ting er Epinion uden tvivl selv klar over, og man må formode, at de også prøver at finde ud af, hvordan de kan justere deres modeller, så de kan opnå en præcision, de kan være tilfredse med en anden gang.

DR siger, at de fremover vil vente med at bringe exit-prognoser til senere. Det gør de sikkert klogt i. Ligesom de, og andre, gør klogt i at huske på, at man altid, altid, altid skal have en sund portion skepsis, når man ser usikre målinger med et meget overraskende resultat. 

Hvem vinder kommunalvalget? Mens vi venter på exit-polls

I dag er der kommunalvalg. Det er et spændende valg, og Politisk Kompas har ventet utålmodigt på valgaftenen, som små børn der venter på juleaftenen. For kommunalvalg betyder masser af valg, masser af drama og ikke mindst masser af data og statistik.

Valgdagens første rigtige gave kommer når DR og TV2 offentliggør deres exit-polls. Meningsmålinger hvor man spørger danskerne, hvad de har stemt, efter de har stemt. Noget der gør målingerne noget mere pålidelige.

Mens vi venter på  exit-polls, har vi lavet vores bud på hvordan danskerne vil sætte deres kryds i dag. Det har vi gjort ved at samle en række målinger, der er blevet foretaget over de seneste par uger.

Resultatet kan ses her:

Som man kan se ligger Venstre og Socialdemokraterne meget tæt, og både de Konservative og SF står til at gå markant tilbage.

Det bliver en spændende valgaften og nat.

Bemærk desuden, at der selvfølgelig er statistisk usikkerhed tilknyttet prognosen. Det er med andre ord ikke det endelige valgresultat, du kan se ovenfor – men det er vores bedste bud.

Hvordan har vi gjort?

Vi har taget et vægtet gennemsnit af Epinion, Gallup og Voxmeters målinger. De har alle spurgt danskerne, om hvad de vil stemme til kommunalvalget.

Vi har vægtet målingerne efter to parametre:  hvor længe siden det er målingen blev foretaget og antallet af respondenter.

Vejede gennemsnit af meningsmålinger rammer næsten altid meget tæt på valgresultatet.

Journalisten skriver om problemer med skæve meningsmålinger.

I juni havde vi her på bloggen et par indlæg om, at YouGovs meningsmålinger havde det med at ramme anderledes end resten af feltet af meningsmålingsinstitutter. Målingerne havde samtidig en uheldig tendens til at blive citeret oftere end andre målinger, der afveg mindre fra gennemsnittet. Indlæggene kan læses her og her. Vi havde også dette indlæg om, hvorfor meningsmålinger kan svinge relativt meget.

Fagbladet Journalisten har opdaget den samme tendens hos YouGov og MetroXpress, der bringer YouGovs målinger. Det er der kommet denne fine og meget læseværdige artikel ud af. Hos Politisk Kompas har vi ikke noget mod YouGov eller nogen af de andre meningsmålingsinstitutter, og vi er ikke i tvivl om, at de prøver at ramme rigtigt. Om det er YouGov eller de andre, der rammer mest præcist er svært at sige, da de netop alle prøver at estimere noget, der kun bliver udtrykt, når der er folketingsvalg. Nemlig opbakningen til de forskellige partier, hvis der var valg i morgen.

Men vi er glade for, at der kommer en diskussion af, om nogle metoder er bedre end andre, og især om det er hensigtsmæssigt, hvis medierne fokuserer på de tal, der afviger mest. (Et lille hint: Det synes vi ikke, at det er.)