Hvor dårlige er økonomiske prognoser egentlig?

Kun én ud af 35 økonomiske prognoser rammer rigtigt. Under denne overskrift har Information kritiseret prognoser udarbejdet af både private virksomheder, interesseorganisationer og offentlige institutioner.

Konkret konkluderer Information, at ”[n]æsten alle økonomernes vækstforudsigelser rammer forkert”.  En interessant konklusion. Faktisk så interessant, at Danmarks Radio og Berlingske har citeret Informations opgørelse.

Men kan det virkelig være rigtigt? Ja, det kan det faktisk, hvis man har en meget snæver forståelse af, hvornår en prognose rammer rigtigt. Billedet er dog noget mere nuanceret end Information giver udtryk for. For selvom de økonomiske prognoser sjældent rammer helt præcist, så kan de stadig bruges til noget. I denne uge sætter vi fokus på økonomiske prognoser. I dette indlæg stiller vi skarpt på det problematiske i Informations opgørelse. Senere på ugen ser vi på, hvad der gør en prognose værdifuld, og hvorvidt de økonomiske prognoser kan siges at være dette.

Information kommer frem til at én ud af 35 prognoser rammer plet. Det tal finder de ved at dividere antallet af prognoser, der korrekt forudsiger den økonomiske vækst til første decimal med antallet af økonomiske prognoser foretaget af fem forskellige aktører siden 1970.

Det er en meget hård måde at vurdere enhver prognose på. Særligt prognoser af noget så komplekst og dynamisk som økonomisk vækst.  Faktisk er det så svært at forudsige økonomisk vækst, at vi end ikke ved hvad væksten bliver i 2013. Ja, faktisk sker det tit, at man ændrer vurderingen af den økonomiske vækst bagudrettet. Derfor er det også urimeligt at forvente, at økonomiske prognoser skal ramme rigtig ned til en decimal, før man siger at de rammer rigtigt.

Metoden siger derudover ikke meget om den reelle træfsikkerhed. Den tager således ikke højde for hvor langt prognoserne falder fra det rigtige resultat. En prognose der falder 0,1 procentpoint fra det rigtige resultat burde således vurderes som langt bedre end én, der falder 2 procentpoint fra det rigtige resultat. På samme måde som at en vejrudsigt, der forudsiger 10 millimeter regn, stadig er en god prognose, selvom vi får 11 millimeter regn.  Sådanne nuancer går imidlertid tabt i denne simple måde at opgøre prognosernes kvalitet på.

Alt i alt er Information succeskriterium både konservativt og uinformativt.

En mere fair opgørelse?

I figuren nedenfor har vi set på, hvad der sker, hvis man justerer på Informations meget hårde succeskriterier. Det har vi gjort ved skridtvis at ændre den acceptable fejlmargen for, hvornår en prognose er acceptabel. Eksempelvis svarer 0,5 til, at en prognose rammer rigtigt med plus eller minus 0,5 procentpoint. Dernæst har vi udregnet, hvor stor en andel af prognoserne, der rammer plet ud fra hvert nyt interval for accept.

Helt til venstre i grafen er de 2,8 pct. (1/35) som Information bruger i sin artikel. Her er intervallet på 0. Prognosen skal altså forudsige helt præcist til en decimal, før den betegnes som korrekt.  Men som det ses, bliver andelen af korrekte prognoser hurtigt større, hvis man giver prognoserne lidt snor. Hvis prognoser, der ligger +/ 0,1 procentpoint fra den økonomiske virkelighed også tælles med som korrekte ”prognoser” tredobles antallet af korrekte prognoser således til 3/35.

Ved et interval på 0,5 bliver over en tredjedel af prognoserne korrekte. Og sætter man intervallet op til 1 procentpoint, er omtrent to tredjedele af prognoserne korrekte.

Information inkluderer da også en mere fair opgørelse. Nemlig den gennemsnitlige afvigelse mellem prognosen og det rigtige resultat. Den er 1 procentpoint. Ganske vist en betydelig usikkerhed, men alligevel en noget mere flatterende statistik end de 1 ud af 35, som er artiklens overskrift.

Afslutningsvist vil vi rose Information for, hvor gennemsigtig deres opgørelse er. Metoden er helt klar, og de har fremlagt data, der ligger bag på deres datablog, så de kan downloades med et enkelt klik. Noget vi også kunne lære noget af her på Politisk Kompas. Det kræver imidlertid mere teknisk snilde, end vi besidder.  Indtil vi formår, at få sat noget lignende i stand, vil vi gerne understrege, at hvis man ønsker at se det data, der er grundlag for vores analyser, kan man skrive en mail til en af os. Så skal vi nok fremsende det.