Lige ved og næsten, Politiken.

I en måling foretaget af Megafon for TV2 og Politiken går SF tilbage, mens Dansk Folkeparti går frem. Begge ændringer er i forhold til en Megafonmåling, der er foretaget en måned inden. I en lang artikel på Politikens hjemmeside kunne man læse, at begge ændringer er statistisk signifikante. Det er forkert. 

Det går galt, fordi de sammenligner den nye måling med en tidligere måling. Med begge målinger kommer nemlig en statistisk usikkerhed. Tager man højde for usikkerheden omkring både de nye og gamle estimater, er Politikens konklusioner om statistisk signifikans forkerte. I hvert fald hvis vi arbejder med den tærskel for signifikans, som vi oftest bruger. Politiken betragter kun usikkerheden omkring den nyeste måling. Derfor overdriver de sikkerheden for resultaterne.

Meningsmålinger er vores bedste redskab, når vi vil vide, hvad almindelige mennesker mener om almindelige og nogle gange ualmindelig ting. Hvis håndværket er i orden, kan man ud fra en lille gruppe mennesker, typisk omkring 1000 personer, sige noget om danskerne generelt. Det er ikke magi, men det er stadig ret fantastisk, at det kan lade sig gøre.

Nogle gange er håndværket ikke i orden. Det så vi pinligt tydeligt ved kommunalvalget. Det fik læsernes redaktør for denne avis, Bjarne Schilling, til at kalde til selvransagelse. Var det på tide, at journalisterne på denne avis og andre steder strammede op, når de skriver om tal? For eksempel kunne man huske, at selv en godt udført undersøgelse kommer med en statistisk usikkerhed. Til Bjarne Schillings opsang er et ord passende: Bravo! Og det er oprigtigt ment.

Det lader til, at Politiken har sat handling bag deres ord. Igen: bravo. Nu mangler de bare at gøre det ordentligt.  

Betyder det, at SF ikke er gået tilbage samtidig med, at Dansk Folkeparti ikke er gået frem? Sikkert ikke. Ændringerne er stadigt store. Og det er mest sandsynligt, at så store forskelle er udtryk for reelle ændringer. Samtidig har SF’s formand været gennem en møgsag, hvilket også bør øge vores tro på, at ændringen for partiet er reel. Partierne er sikkert gået henholdsvis frem og tilbage. Politikens brøde består alene i, at de kommer til at give det indtryk, at vi kan være mere sikre på disse ændringer, end vi reelt bør være.

Det er svært at være andet end begejstret for, at Politiken tager den statistiske usikkerhed alvorligt. At de overhovedet prøver er bedre end ingenting. Bliv ved med det. Men bliv lidt bedre til det.

Er økonomiske prognoser værdiløse?

Det indtryk kan man sidde tilbage med efter at have læst Informations kritik af de økonomiske prognoser. Som vi skrev om i går, finder Information grundlæggende, at der er betydelig usikkerhed ved økonomiske prognoser. Men hvad er alternativet? Det svarer de ikke på. Vi vil påstå, at de økonomiske prognoser tjener en nyttig funktion og er bedre end de mulige alternativer. Selvom prognoserne er langt fra perfekte.

Konkret afslører Information, at  økonomiske prognoser af den økonomiske vækst i gennemsnit falder et procentpoint  fra den faktiske vækst.  Det er afvigelser, som man ikke kan løbe fra. Men kan der ikke stadig være værdifuld information i prognosernes  bud på, hvordan dansk økonomi kommer til at se ud næste år?

Prognoserne er det bedste alternativ

Vi har valgt at tage udgangspunkt i én af de prognoser som Information undersøger, Det Økonomiske Råds (DØRS) prognose.  DØRS prognose har en særlig interesse, da disse i princippet er uafhængige af politiske eller andre særinteresser, og derfor må anses som de mest pålidelige.

For at undersøge om DØRs prognose har en værdi kan man først se, om der overhovedet er en sammenhæng mellem deres bud og den faktiske vækst. Er det rent faktisk sådan, at når DØRS forudsiger høj vækst, så får vi dette? Og omvendt.

Dette undersøges i figuren nedenfor. Den viser en ret stærk sammenhæng mellem DØRS prognose og den faktiske vækst.

En anden måde at undersøge værdien af en prognose er at sammenligne den med nogle relevante ”common-sense” forudsigelser. Et eksempel på dette kunne være  et historisk gennemsnit af den økonomiske vækst. Her forudsiger man altså næste års vækst ved bare at se på, hvad væksten typisk er i Danmark. Et andet sammenligningsgrundlag er at bruge dette års økonomiske vækst til at forudsige næste års vækst.  

Også her klarer DØRS prognose sig ganske godt.   

Vi kommer således 47 pct. tættere på den faktiske vækst, hvis vi bruger DØRS prognose end, hvis vi bruger et historiske gennemsnit til at forudsige næste års vækst. Og omtrent 40 pct. bedre end, hvis vi bare bruger sidste års vækst. Med andre ord: prognosen er ikke værdiløs. Langt fra. Den fortæller os noget substantielt, om hvordan økonomien udvikler sig.

Vi har brug for prognoser

Selvom de økonomiske prognoser ikke er perfekte, er de altså det bedste bud på, hvordan økonomien kommer til at se ud næste år. Men er det overhovedet vigtigt med økonomiske prognoser? Hvorfor er det noget, vi som samfund har en interesse i? Har vi overhovedet brug for dem?

For at besvare det sidste spørgsmål først: Ja, vi har brug for dem. Det er interessant for os at have en ide om, hvor samfundsøkonomien bevæger sig hen. Når vi som samfund skal træffe beslutninger, gør vi det selvfølgelig med udgangspunkt i hvordan verden ser ud lige nu, men ofte også afhængigt af hvordan  vi forventer, at den vil blive.  Når regeringen eksempelvis skal beslutte sig for om den skal øge offentlige investeringer næste år, så kræver det et bud på, hvordan den økonomiske situation kommer til at se ud næste år. Hvis økonomien stadig står stille giver investeringer god mening, hvis den er på vej i gang, giver de knap så god mening.

Vi har også en interesse i at kende udviklingen i økonomien er mere jordnære årsager. Ligesom alle os andre er offentlige myndigheder nødt til lægge budgetter på en måde, så der er overensstemmelse mellem indtægter og udgifter. Når staten laver finanslov eller kommunen afsætter penge til folkeskolen på næste års budget, er de nødt til at overveje, hvor mange indtægter de har at gøre godt med. Men det vil i høj grad være bestemt af udviklingen i økonomien. Offentlige myndigheder har en stærk interesse i at kende den økonomiske udvikling på forhånd.

Private personer kan også have en interesse i at have en idé om, hvor økonomien bevæger sig hen. Der findes næppe en boligejer, der købte på toppen, som ikke ville ønske, at han eller hun havde kendt til den fremtidige udvikling på boligmarkedet allerede dengang. Men hov. Er netop boligboblen ikke et fremragende eksempel på en udvikling, der ikke blev opfanget af de økonomiske prognoser? Jo. Men spørgsmålet er, hvad man ellers kunne have stolet på. Og det er netop pointen:

Prognoserne er ikke perfekte. Men de er bedre end alternativet. Det er vigtigt, at vi husker at bruge dem som et kvalificeret gæt og ikke som et facit for, hvordan økonomien bliver. Men det er for nemt blot at konstatere, at der er et misforhold mellem deres vægt i den offentlige debat og deres præcision. Man er nødt til samtidig at overveje, hvad alternativet er

Hvor dårlige er økonomiske prognoser egentlig?

Kun én ud af 35 økonomiske prognoser rammer rigtigt. Under denne overskrift har Information kritiseret prognoser udarbejdet af både private virksomheder, interesseorganisationer og offentlige institutioner.

Konkret konkluderer Information, at ”[n]æsten alle økonomernes vækstforudsigelser rammer forkert”.  En interessant konklusion. Faktisk så interessant, at Danmarks Radio og Berlingske har citeret Informations opgørelse.

Men kan det virkelig være rigtigt? Ja, det kan det faktisk, hvis man har en meget snæver forståelse af, hvornår en prognose rammer rigtigt. Billedet er dog noget mere nuanceret end Information giver udtryk for. For selvom de økonomiske prognoser sjældent rammer helt præcist, så kan de stadig bruges til noget. I denne uge sætter vi fokus på økonomiske prognoser. I dette indlæg stiller vi skarpt på det problematiske i Informations opgørelse. Senere på ugen ser vi på, hvad der gør en prognose værdifuld, og hvorvidt de økonomiske prognoser kan siges at være dette.

Information kommer frem til at én ud af 35 prognoser rammer plet. Det tal finder de ved at dividere antallet af prognoser, der korrekt forudsiger den økonomiske vækst til første decimal med antallet af økonomiske prognoser foretaget af fem forskellige aktører siden 1970.

Det er en meget hård måde at vurdere enhver prognose på. Særligt prognoser af noget så komplekst og dynamisk som økonomisk vækst.  Faktisk er det så svært at forudsige økonomisk vækst, at vi end ikke ved hvad væksten bliver i 2013. Ja, faktisk sker det tit, at man ændrer vurderingen af den økonomiske vækst bagudrettet. Derfor er det også urimeligt at forvente, at økonomiske prognoser skal ramme rigtig ned til en decimal, før man siger at de rammer rigtigt.

Metoden siger derudover ikke meget om den reelle træfsikkerhed. Den tager således ikke højde for hvor langt prognoserne falder fra det rigtige resultat. En prognose der falder 0,1 procentpoint fra det rigtige resultat burde således vurderes som langt bedre end én, der falder 2 procentpoint fra det rigtige resultat. På samme måde som at en vejrudsigt, der forudsiger 10 millimeter regn, stadig er en god prognose, selvom vi får 11 millimeter regn.  Sådanne nuancer går imidlertid tabt i denne simple måde at opgøre prognosernes kvalitet på.

Alt i alt er Information succeskriterium både konservativt og uinformativt.

En mere fair opgørelse?

I figuren nedenfor har vi set på, hvad der sker, hvis man justerer på Informations meget hårde succeskriterier. Det har vi gjort ved skridtvis at ændre den acceptable fejlmargen for, hvornår en prognose er acceptabel. Eksempelvis svarer 0,5 til, at en prognose rammer rigtigt med plus eller minus 0,5 procentpoint. Dernæst har vi udregnet, hvor stor en andel af prognoserne, der rammer plet ud fra hvert nyt interval for accept.

Helt til venstre i grafen er de 2,8 pct. (1/35) som Information bruger i sin artikel. Her er intervallet på 0. Prognosen skal altså forudsige helt præcist til en decimal, før den betegnes som korrekt.  Men som det ses, bliver andelen af korrekte prognoser hurtigt større, hvis man giver prognoserne lidt snor. Hvis prognoser, der ligger +/ 0,1 procentpoint fra den økonomiske virkelighed også tælles med som korrekte ”prognoser” tredobles antallet af korrekte prognoser således til 3/35.

Ved et interval på 0,5 bliver over en tredjedel af prognoserne korrekte. Og sætter man intervallet op til 1 procentpoint, er omtrent to tredjedele af prognoserne korrekte.

Information inkluderer da også en mere fair opgørelse. Nemlig den gennemsnitlige afvigelse mellem prognosen og det rigtige resultat. Den er 1 procentpoint. Ganske vist en betydelig usikkerhed, men alligevel en noget mere flatterende statistik end de 1 ud af 35, som er artiklens overskrift.

Afslutningsvist vil vi rose Information for, hvor gennemsigtig deres opgørelse er. Metoden er helt klar, og de har fremlagt data, der ligger bag på deres datablog, så de kan downloades med et enkelt klik. Noget vi også kunne lære noget af her på Politisk Kompas. Det kræver imidlertid mere teknisk snilde, end vi besidder.  Indtil vi formår, at få sat noget lignende i stand, vil vi gerne understrege, at hvis man ønsker at se det data, der er grundlag for vores analyser, kan man skrive en mail til en af os. Så skal vi nok fremsende det.

Watch out for Voxmeter

De sidste par uger har mediebilledet været præget af et nyt sæt af målinger. Denne gang er det målingerne fra Voxmeter, der har skabt overskrifter. Målingerne har grundlæggende peget på at rød blok skulle være nogenlunde ligeså stor som blå blok. Noget der har skabt overskrifter i de fleste danske netmedier ( se eksemplevis her).

Dækningen af Voxmeters målinger har  været præget af en manglende forståelse for statistik usikkerhed, men det er ikke kun  det, der er påfaldende ved Voxmeters målinger.

Voxmeter er således det eneste institut, der har været i nærheden af at spå dødt løb mellem rød og blå blok. Vi har derfor set nærmere på Voxmeters målinger det sidste års tid.

Der viser sig et rimelig klart mønster. Siden maj er Voxmeter langsomt begyndt at vurdere rød bloks opbakning højere end de andre institutter. En effekt der er blevet meget udtalt i den seneste måneds tid.

Som det også fremgår af figuren, har Voxmeter taget en rejse, der på mange måder ligner Yougovs målinger, vi skrev om tidligere på året. Om end den ikke har været lige så ekstrem.

De resterende andre institutter ligger til gengæld midt imellem Yougov og Voxmeter. Det viser endnu engang, at selvom en enkelt måling kan give forvirrende og støjende signaler om, hvad danskerne vil stemme, så vil et gennemsnit tale et væsentligt tydeligere sprog.