Er økonomiske prognoser værdiløse?

Det indtryk kan man sidde tilbage med efter at have læst Informations kritik af de økonomiske prognoser. Som vi skrev om i går, finder Information grundlæggende, at der er betydelig usikkerhed ved økonomiske prognoser. Men hvad er alternativet? Det svarer de ikke på. Vi vil påstå, at de økonomiske prognoser tjener en nyttig funktion og er bedre end de mulige alternativer. Selvom prognoserne er langt fra perfekte.

Konkret afslører Information, at  økonomiske prognoser af den økonomiske vækst i gennemsnit falder et procentpoint  fra den faktiske vækst.  Det er afvigelser, som man ikke kan løbe fra. Men kan der ikke stadig være værdifuld information i prognosernes  bud på, hvordan dansk økonomi kommer til at se ud næste år?

Prognoserne er det bedste alternativ

Vi har valgt at tage udgangspunkt i én af de prognoser som Information undersøger, Det Økonomiske Råds (DØRS) prognose.  DØRS prognose har en særlig interesse, da disse i princippet er uafhængige af politiske eller andre særinteresser, og derfor må anses som de mest pålidelige.

For at undersøge om DØRs prognose har en værdi kan man først se, om der overhovedet er en sammenhæng mellem deres bud og den faktiske vækst. Er det rent faktisk sådan, at når DØRS forudsiger høj vækst, så får vi dette? Og omvendt.

Dette undersøges i figuren nedenfor. Den viser en ret stærk sammenhæng mellem DØRS prognose og den faktiske vækst.

En anden måde at undersøge værdien af en prognose er at sammenligne den med nogle relevante ”common-sense” forudsigelser. Et eksempel på dette kunne være  et historisk gennemsnit af den økonomiske vækst. Her forudsiger man altså næste års vækst ved bare at se på, hvad væksten typisk er i Danmark. Et andet sammenligningsgrundlag er at bruge dette års økonomiske vækst til at forudsige næste års vækst.  

Også her klarer DØRS prognose sig ganske godt.   

Vi kommer således 47 pct. tættere på den faktiske vækst, hvis vi bruger DØRS prognose end, hvis vi bruger et historiske gennemsnit til at forudsige næste års vækst. Og omtrent 40 pct. bedre end, hvis vi bare bruger sidste års vækst. Med andre ord: prognosen er ikke værdiløs. Langt fra. Den fortæller os noget substantielt, om hvordan økonomien udvikler sig.

Vi har brug for prognoser

Selvom de økonomiske prognoser ikke er perfekte, er de altså det bedste bud på, hvordan økonomien kommer til at se ud næste år. Men er det overhovedet vigtigt med økonomiske prognoser? Hvorfor er det noget, vi som samfund har en interesse i? Har vi overhovedet brug for dem?

For at besvare det sidste spørgsmål først: Ja, vi har brug for dem. Det er interessant for os at have en ide om, hvor samfundsøkonomien bevæger sig hen. Når vi som samfund skal træffe beslutninger, gør vi det selvfølgelig med udgangspunkt i hvordan verden ser ud lige nu, men ofte også afhængigt af hvordan  vi forventer, at den vil blive.  Når regeringen eksempelvis skal beslutte sig for om den skal øge offentlige investeringer næste år, så kræver det et bud på, hvordan den økonomiske situation kommer til at se ud næste år. Hvis økonomien stadig står stille giver investeringer god mening, hvis den er på vej i gang, giver de knap så god mening.

Vi har også en interesse i at kende udviklingen i økonomien er mere jordnære årsager. Ligesom alle os andre er offentlige myndigheder nødt til lægge budgetter på en måde, så der er overensstemmelse mellem indtægter og udgifter. Når staten laver finanslov eller kommunen afsætter penge til folkeskolen på næste års budget, er de nødt til at overveje, hvor mange indtægter de har at gøre godt med. Men det vil i høj grad være bestemt af udviklingen i økonomien. Offentlige myndigheder har en stærk interesse i at kende den økonomiske udvikling på forhånd.

Private personer kan også have en interesse i at have en idé om, hvor økonomien bevæger sig hen. Der findes næppe en boligejer, der købte på toppen, som ikke ville ønske, at han eller hun havde kendt til den fremtidige udvikling på boligmarkedet allerede dengang. Men hov. Er netop boligboblen ikke et fremragende eksempel på en udvikling, der ikke blev opfanget af de økonomiske prognoser? Jo. Men spørgsmålet er, hvad man ellers kunne have stolet på. Og det er netop pointen:

Prognoserne er ikke perfekte. Men de er bedre end alternativet. Det er vigtigt, at vi husker at bruge dem som et kvalificeret gæt og ikke som et facit for, hvordan økonomien bliver. Men det er for nemt blot at konstatere, at der er et misforhold mellem deres vægt i den offentlige debat og deres præcision. Man er nødt til samtidig at overveje, hvad alternativet er

Hvor dårlige er økonomiske prognoser egentlig?

Kun én ud af 35 økonomiske prognoser rammer rigtigt. Under denne overskrift har Information kritiseret prognoser udarbejdet af både private virksomheder, interesseorganisationer og offentlige institutioner.

Konkret konkluderer Information, at ”[n]æsten alle økonomernes vækstforudsigelser rammer forkert”.  En interessant konklusion. Faktisk så interessant, at Danmarks Radio og Berlingske har citeret Informations opgørelse.

Men kan det virkelig være rigtigt? Ja, det kan det faktisk, hvis man har en meget snæver forståelse af, hvornår en prognose rammer rigtigt. Billedet er dog noget mere nuanceret end Information giver udtryk for. For selvom de økonomiske prognoser sjældent rammer helt præcist, så kan de stadig bruges til noget. I denne uge sætter vi fokus på økonomiske prognoser. I dette indlæg stiller vi skarpt på det problematiske i Informations opgørelse. Senere på ugen ser vi på, hvad der gør en prognose værdifuld, og hvorvidt de økonomiske prognoser kan siges at være dette.

Information kommer frem til at én ud af 35 prognoser rammer plet. Det tal finder de ved at dividere antallet af prognoser, der korrekt forudsiger den økonomiske vækst til første decimal med antallet af økonomiske prognoser foretaget af fem forskellige aktører siden 1970.

Det er en meget hård måde at vurdere enhver prognose på. Særligt prognoser af noget så komplekst og dynamisk som økonomisk vækst.  Faktisk er det så svært at forudsige økonomisk vækst, at vi end ikke ved hvad væksten bliver i 2013. Ja, faktisk sker det tit, at man ændrer vurderingen af den økonomiske vækst bagudrettet. Derfor er det også urimeligt at forvente, at økonomiske prognoser skal ramme rigtig ned til en decimal, før man siger at de rammer rigtigt.

Metoden siger derudover ikke meget om den reelle træfsikkerhed. Den tager således ikke højde for hvor langt prognoserne falder fra det rigtige resultat. En prognose der falder 0,1 procentpoint fra det rigtige resultat burde således vurderes som langt bedre end én, der falder 2 procentpoint fra det rigtige resultat. På samme måde som at en vejrudsigt, der forudsiger 10 millimeter regn, stadig er en god prognose, selvom vi får 11 millimeter regn.  Sådanne nuancer går imidlertid tabt i denne simple måde at opgøre prognosernes kvalitet på.

Alt i alt er Information succeskriterium både konservativt og uinformativt.

En mere fair opgørelse?

I figuren nedenfor har vi set på, hvad der sker, hvis man justerer på Informations meget hårde succeskriterier. Det har vi gjort ved skridtvis at ændre den acceptable fejlmargen for, hvornår en prognose er acceptabel. Eksempelvis svarer 0,5 til, at en prognose rammer rigtigt med plus eller minus 0,5 procentpoint. Dernæst har vi udregnet, hvor stor en andel af prognoserne, der rammer plet ud fra hvert nyt interval for accept.

Helt til venstre i grafen er de 2,8 pct. (1/35) som Information bruger i sin artikel. Her er intervallet på 0. Prognosen skal altså forudsige helt præcist til en decimal, før den betegnes som korrekt.  Men som det ses, bliver andelen af korrekte prognoser hurtigt større, hvis man giver prognoserne lidt snor. Hvis prognoser, der ligger +/ 0,1 procentpoint fra den økonomiske virkelighed også tælles med som korrekte ”prognoser” tredobles antallet af korrekte prognoser således til 3/35.

Ved et interval på 0,5 bliver over en tredjedel af prognoserne korrekte. Og sætter man intervallet op til 1 procentpoint, er omtrent to tredjedele af prognoserne korrekte.

Information inkluderer da også en mere fair opgørelse. Nemlig den gennemsnitlige afvigelse mellem prognosen og det rigtige resultat. Den er 1 procentpoint. Ganske vist en betydelig usikkerhed, men alligevel en noget mere flatterende statistik end de 1 ud af 35, som er artiklens overskrift.

Afslutningsvist vil vi rose Information for, hvor gennemsigtig deres opgørelse er. Metoden er helt klar, og de har fremlagt data, der ligger bag på deres datablog, så de kan downloades med et enkelt klik. Noget vi også kunne lære noget af her på Politisk Kompas. Det kræver imidlertid mere teknisk snilde, end vi besidder.  Indtil vi formår, at få sat noget lignende i stand, vil vi gerne understrege, at hvis man ønsker at se det data, der er grundlag for vores analyser, kan man skrive en mail til en af os. Så skal vi nok fremsende det.

Watch out for Voxmeter

De sidste par uger har mediebilledet været præget af et nyt sæt af målinger. Denne gang er det målingerne fra Voxmeter, der har skabt overskrifter. Målingerne har grundlæggende peget på at rød blok skulle være nogenlunde ligeså stor som blå blok. Noget der har skabt overskrifter i de fleste danske netmedier ( se eksemplevis her).

Dækningen af Voxmeters målinger har  været præget af en manglende forståelse for statistik usikkerhed, men det er ikke kun  det, der er påfaldende ved Voxmeters målinger.

Voxmeter er således det eneste institut, der har været i nærheden af at spå dødt løb mellem rød og blå blok. Vi har derfor set nærmere på Voxmeters målinger det sidste års tid.

Der viser sig et rimelig klart mønster. Siden maj er Voxmeter langsomt begyndt at vurdere rød bloks opbakning højere end de andre institutter. En effekt der er blevet meget udtalt i den seneste måneds tid.

Som det også fremgår af figuren, har Voxmeter taget en rejse, der på mange måder ligner Yougovs målinger, vi skrev om tidligere på året. Om end den ikke har været lige så ekstrem.

De resterende andre institutter ligger til gengæld midt imellem Yougov og Voxmeter. Det viser endnu engang, at selvom en enkelt måling kan give forvirrende og støjende signaler om, hvad danskerne vil stemme, så vil et gennemsnit tale et væsentligt tydeligere sprog.

Poltisk kompas på journalisten.dk

I dag har Politisk Kompas en analyse i fagbladet Journalisten. Den handler om meningsmålinger, og berør flere af de emner vi har været omkring her på bloggen. Analysen kan læses her.

Vi synes det er fedt, at Journalisten tager mediedækning af  meningsmålinger op til diskussion, og vi håber, det resulterer i bedre og mere retvisende journalistiske historier i fremtiden. Lidt i retning af den selvkritik læsernes redaktør på Politiken, Bjarne Schilling, rettede mod sin egen avis i søndags.

Det er der i hvert fald brug for.  

Hvor dårlig var DR's exitprognose?

Det må være hårdt at være nyhedsmedie på en valgdag. Alle venter på resultatet eller gode bud på resultatet. Og man vil gerne være først med det. Men stemmestederne lukker først klokken 20, og da det helt sikkert er en anden type mennesker, der stemmer klokken kvart i otte om aftenen end kvart over ni om morgenen, er det vanskeligt at give et godt bud tidligt.

Men det afholdt ikke DR fra at prøve alligevel. Tidligt på eftermiddagen kunne de slå en stor nyhed op: Rød blok stod til massiv tilbagegang. Værst så det ud for Socialdemokraterne, der ifølge prognosen stod til et rent katastrofevalg med kun 22,7 procent af stemmerne.

I en infoboks kan man læse, at den maksimale statistiske usikkerhed for et parti er +/- 3,6 procentpoint. Prognosen var baseret på 744 respondenter. Denne usikkerhed tager formentlig højde for vægtning og sampling strategi, og det er derfor ikke muligt for os at estimere den præcise usikkerhed omkring Socialdemokraterne. Men hvis vi lader tvivlen komme DR til gode og antager, at den er 3,6 procentpoint, vil det sige, at hvis DR's måling var lavet ordentligt, kunne man på det tidspunkt være 95 procent sikker på, at Socialdemokraternes tilslutning til valget ville blive mellem 19,1 og 26,3 procent.  Det blev den imidlertid ikke.

De fik 29,5 procent af stemmerne.

Er det et tilfælde?

DR ramte altså ikke bare ved siden af. De ramte langt ved siden af. I dag er der da også massiv kritik af DR fra forskere, medier og politikere. Vi kunne have givet mange flere lignende links. DR beklager da også, at de bragte en upræcis prognose, og de siger, at de fremover ikke vil bringe prognoser så tidligt.

Men er der måske grund til at slå koldt vand i blodet? Ovenfor skrev vi, at vi ud fra DR's prognose kun kunne være 95 % sikre på, at Socialdemokraternes sande tilslutning lå mellem 19,1 og 26,3 procent af stemmerne. Det betyder, at der også er 5 procents sandsynlighed for, at den ville ligge uden for. Hvilket den viste sig at gøre. Kan DR og Epinion, der lavede prognosen, ikke bare have været uheldige? Det kan ikke afvises, men det er meget usandsynligt? Hvor usandsynligt?

Da der var valg i går, er vi i den heldige situation, at vi kender Socialdemokraternes sande tilslutning. Det giver os mulighed for at beregne, hvor sandsynligt det er at få en tilslutning for Socialdemokraterne, der afviger ligeså meget eller mere, som den i DRs prognose. Sandsynligheden for det er 0,005 procent. Det vil ske cirka en ud af 20.000 gange.

Vi tror mere på, at DRs måling har været dårlig end uheldig.

Men er det ikke bedre end ingenting?

Vi har indtil videre fokuseret på Socialdemokraterne, fordi det her er mest åbenlyst, at exit-prognosen rammer mest ved siden af. Ser man på de andre partier, er det ikke kønt, men det er klart mindre skævt end for Socialdemokraterne. Så kunne prognosen måske alligevel fortælle os noget, vi ikke vidste i forvejen?

For at besvare det spørgsmål kan man se på, hvor skævt den samlet ramte. Et udmærket mål for dette er udviklet af politologen Michael Gallagher, og hedder Gallaghers indeks. Det måler graden af disproportionalitet mellem en måling, og det faktiske resultat. Værdien nul svarer til, at der er fuldstændig overensstemmelse mellem målingen og resultatet.

Havde man brugt det seneste kommunalvalg til at forudsige tilslutningen for partierne havde man fået en disproportionalitet på 7,8. Disproportionaliteten mellem DR's prognose, og valgresultatet var 5,7. Det er bedre end bare at bruge det seneste valg, men ikke meget. Til sammenligning er disproportionaliteten mellem den forudsigelse vi lagde op i går og resultatet 1,7. Det havde altså været markant bedre at bruge en samling af de målinger, der fandtes i forvejen – selvom vi også skød Socialdemokraterne lidt for lavt, når vi gjorde det.

Hvorfor så skævt?

Vores forudsigelse byggede på meningsmålinger offentliggjort inden valget. Og de rammer væsentligt bedre end DR's exit-prognose. Hvad kan være gået galt?

For det første kan vi udnytte, at de mange undersøgelser tilsammen har flere deltagere. Det reducerer de tilfældige fejl. Men ovenfor så vi, at DR's vildskud næppe skyldtes tilfældige fejl alene. Der har også været systematiske fejl. Hvordan kan de have sneget sig ind?

Det indlysende svar er, at Epinion er kommet til at undersample socialdemokratiske vælgere systematisk. Det kan der være en række årsager til. Det er for det første åbenlyst, at det næppe er et repræsentativt udsnit af vælgerne, der stemmer inden klokken 14. Det ved Epinion godt, og de har utvivlsomt haft en model, hvor de forsøgte at tage højde for dette.

En anden ting, der kan bidrage til forklaringen, er, at det kun var omkring 7 ud af 10, der stemte, samt at vi i går så en pæn stigning i valgdeltagelsen. En del af exit-prognosen var foretaget inden valget. Her har Epinion utvivlsomt prøvet at korrigere for, hvem der ville stemme. Det kan tænkes, at det ikke er lykkes tilstrækkeligt.

Endelig er det formentlig bare sværere at forudsige kommunalvalgsresultatet, fordi der er nogle mere lokalspecifikke forhold, der gør sig gældende, og det er svært at korrigere nøjagtigt for dem. Det skaber ganske enkelt større usikkerhed omkring de estimater, man får.

Alle disse ting er Epinion uden tvivl selv klar over, og man må formode, at de også prøver at finde ud af, hvordan de kan justere deres modeller, så de kan opnå en præcision, de kan være tilfredse med en anden gang.

DR siger, at de fremover vil vente med at bringe exit-prognoser til senere. Det gør de sikkert klogt i. Ligesom de, og andre, gør klogt i at huske på, at man altid, altid, altid skal have en sund portion skepsis, når man ser usikre målinger med et meget overraskende resultat. 

Hvem vinder kommunalvalget? Mens vi venter på exit-polls

I dag er der kommunalvalg. Det er et spændende valg, og Politisk Kompas har ventet utålmodigt på valgaftenen, som små børn der venter på juleaftenen. For kommunalvalg betyder masser af valg, masser af drama og ikke mindst masser af data og statistik.

Valgdagens første rigtige gave kommer når DR og TV2 offentliggør deres exit-polls. Meningsmålinger hvor man spørger danskerne, hvad de har stemt, efter de har stemt. Noget der gør målingerne noget mere pålidelige.

Mens vi venter på  exit-polls, har vi lavet vores bud på hvordan danskerne vil sætte deres kryds i dag. Det har vi gjort ved at samle en række målinger, der er blevet foretaget over de seneste par uger.

Resultatet kan ses her:

Som man kan se ligger Venstre og Socialdemokraterne meget tæt, og både de Konservative og SF står til at gå markant tilbage.

Det bliver en spændende valgaften og nat.

Bemærk desuden, at der selvfølgelig er statistisk usikkerhed tilknyttet prognosen. Det er med andre ord ikke det endelige valgresultat, du kan se ovenfor – men det er vores bedste bud.

Hvordan har vi gjort?

Vi har taget et vægtet gennemsnit af Epinion, Gallup og Voxmeters målinger. De har alle spurgt danskerne, om hvad de vil stemme til kommunalvalget.

Vi har vægtet målingerne efter to parametre:  hvor længe siden det er målingen blev foretaget og antallet af respondenter.

Vejede gennemsnit af meningsmålinger rammer næsten altid meget tæt på valgresultatet.

Journalisten skriver om problemer med skæve meningsmålinger.

I juni havde vi her på bloggen et par indlæg om, at YouGovs meningsmålinger havde det med at ramme anderledes end resten af feltet af meningsmålingsinstitutter. Målingerne havde samtidig en uheldig tendens til at blive citeret oftere end andre målinger, der afveg mindre fra gennemsnittet. Indlæggene kan læses her og her. Vi havde også dette indlæg om, hvorfor meningsmålinger kan svinge relativt meget.

Fagbladet Journalisten har opdaget den samme tendens hos YouGov og MetroXpress, der bringer YouGovs målinger. Det er der kommet denne fine og meget læseværdige artikel ud af. Hos Politisk Kompas har vi ikke noget mod YouGov eller nogen af de andre meningsmålingsinstitutter, og vi er ikke i tvivl om, at de prøver at ramme rigtigt. Om det er YouGov eller de andre, der rammer mest præcist er svært at sige, da de netop alle prøver at estimere noget, der kun bliver udtrykt, når der er folketingsvalg. Nemlig opbakningen til de forskellige partier, hvis der var valg i morgen.

Men vi er glade for, at der kommer en diskussion af, om nogle metoder er bedre end andre, og især om det er hensigtsmæssigt, hvis medierne fokuserer på de tal, der afviger mest. (Et lille hint: Det synes vi ikke, at det er.)