Har Megafon interviewet 33.000?

… eller er det TV2, der glemmer alt om statistisk usikkerhed? Det korte svar på spørgsmålet er, at Megafon har interviewet 1.155, og TV2 og andre medier har kastet alle overvejelser om statistisk usikkerhed over bords.

Hvorfor overhovedet stille spørgsmålet? Jo, fordi blandt andet TV2, BT, Politiken og Berlingske skriver, at Venstre er i en ny måling fra Megafon er gået 3,3 procentpoint tilbage fra deres seneste måling, og de står til 26,3 procent. Og det er mindre end ved det seneste valg, hvor partiet fik 26,7 procent. Men kan vi på baggrund af Megafons måling være sikre på, at Venstre ville blive mindre end ved det seneste valg, hvis der var valg i morgen?

Det korte svar er, at vi ikke kan være særligt sikre. Vi kan være ret sikre på, at Venstre er gået meget tilbage. Det er en stor historie i sig selv. Og man burde undre sig over, at TV2 og andre ikke bare kører på den historie, som der formentlig er hold i, i stedet for at stramme den til en ret løs konklusion.

Når man arbejder med meningsmålinger og meget anden statistik, er det rigtige spørgsmål ikke, hvad man kan være sikker på, men hvor sikker, man kan være. Så lad os stille det spørgsmål: Hvor sikre kan vi være på, at Venstre er mindre end ved valget i 2011?

En ikke helt sikker konklusion af TV2

Ifølge Politiken har Megafon spurgt 1155 personer i deres måling. Hvis de har spurgt et tilfældigt udvalg udsnit af befolkningen, så er der omkring 61 procents sikkerhed for, at Venstre er mindre end i 2011. (Der kan være detaljer omkring Megafons måling, som vi ikke kender til, der kan ændre denne størrelse marginalt).

Er 61 procents sikkerhed nok til, at et seriøst medie som TV2 og andre medier vil trykke noget? Åbenbart. I hvert fald når det kommer til meningsmålinger. Og det er ikke noget enkeltstående tilfælde. Medierne synes ofte at være lykkeligt uvidende om den usikkerhed, der knytter sig til meningsmålinger.

Statistisk usikkerhed

Hver gang man ser en meningsmåling, er et sundt spørgsmål, man kan stille sig selv: Hvad er usikkerheden. For der vil altid være en usikkerhed, der blandt andet afhænger af, hvor mange man har spurgt og variationen i deres svar. Noget vi tidligere har skrevet om her.

Kort sagt er problemet, at vi med en meningsmåling prøver at måle noget essentielt ukendt. Fx vælgernes tilslutning til Venstre. Vi tager en stikprøve og ”gætter” på, at den sande vælgertilslutning, den ude i befolkningen, er den samme som i stikprøven. Altså gætter vi, at Venstre står til 26,3 procent ud fra Megafons måling. Men vi ved også, at dette tal er behæftet med en usikkerhedsmargin.

En god tommelfingerregel er, at usikkerheden er plus/minus tre procentpoint i meningsmålinger. Det vil sige, at når vi har lavet en meningsmåling, hvor vi prøver at måle noget essentielt ukendt (fx Venstres aktuelle tilslutning i befolkningen), vil det, vi i virkeligheden prøver at måle, med 95 procents sikkerhed ligge inden for tre procentpoint af det, vi kom frem til.

Med den tommelfingerregel vil man hurtigt stille sig skeptisk over for en hver historie, der som TV2’s, konkluderer ud fra en forskel på blot 0,4 procentpoint. Faktisk kan vi ud fra Megafons måling regne os frem til, at vi kan være 95 procent sikre på, at Venstre ville få mellem 23,8 og 29,0 procent af stemmerne, hvis der var valg i morgen. Altså cirka plus/minus 2,6 procents usikkerhed omkring Megafons gæt.

De 33.000 og hvad de skulle have sagt

Vi har også regnet på, hvor mange man skulle spørge for med sikkerhed at kunne sige, at Venstre ville være mindre end ved det seneste valg. Hvis vi fastholder en forskel på 0,4 procentpoint, skal man ”bare” spørge lidt færre end 33.000 tilfældigt udvalgte danskere for at være 95 procent sikker på, at Venstre rent faktisk er mindre end nu end ved valget i 2011. Det er som skrevet forudsat, at der også i den stikprøve er en forskel på 0,4 procentpoint. (Til de særligt interesserede er det, hvis man laver en ensidet test.) Den eneste ”meningsmåling”, der kommer i nærheden af det, er faktisk folketingsvalgene.

Man bør ikke konkludere, at Venstre er mindre end ved seneste valg. Og det er lidt trist, at det er den historie, der trænger igennem. For den mangler dybest set belæg. Men målingen er samtidig en af flere nylige målinger, der alle sender Venstre markant tilbage. Hvorfor ikke bare blive ved den historie, der er vigtig i sig selv? Det er fx vinklen i denne afrapportering af en Gallup-måling, hvor Venstre ligger marginalt over 2011-resultatet. For det er meget sikkert, at Venstre er gået væsentligt tilbage fra da de havde over 30 procent af stemmerne.