Lige ved og næsten, Politiken.

I en måling foretaget af Megafon for TV2 og Politiken går SF tilbage, mens Dansk Folkeparti går frem. Begge ændringer er i forhold til en Megafonmåling, der er foretaget en måned inden. I en lang artikel på Politikens hjemmeside kunne man læse, at begge ændringer er statistisk signifikante. Det er forkert. 

Det går galt, fordi de sammenligner den nye måling med en tidligere måling. Med begge målinger kommer nemlig en statistisk usikkerhed. Tager man højde for usikkerheden omkring både de nye og gamle estimater, er Politikens konklusioner om statistisk signifikans forkerte. I hvert fald hvis vi arbejder med den tærskel for signifikans, som vi oftest bruger. Politiken betragter kun usikkerheden omkring den nyeste måling. Derfor overdriver de sikkerheden for resultaterne.

Meningsmålinger er vores bedste redskab, når vi vil vide, hvad almindelige mennesker mener om almindelige og nogle gange ualmindelig ting. Hvis håndværket er i orden, kan man ud fra en lille gruppe mennesker, typisk omkring 1000 personer, sige noget om danskerne generelt. Det er ikke magi, men det er stadig ret fantastisk, at det kan lade sig gøre.

Nogle gange er håndværket ikke i orden. Det så vi pinligt tydeligt ved kommunalvalget. Det fik læsernes redaktør for denne avis, Bjarne Schilling, til at kalde til selvransagelse. Var det på tide, at journalisterne på denne avis og andre steder strammede op, når de skriver om tal? For eksempel kunne man huske, at selv en godt udført undersøgelse kommer med en statistisk usikkerhed. Til Bjarne Schillings opsang er et ord passende: Bravo! Og det er oprigtigt ment.

Det lader til, at Politiken har sat handling bag deres ord. Igen: bravo. Nu mangler de bare at gøre det ordentligt.  

Betyder det, at SF ikke er gået tilbage samtidig med, at Dansk Folkeparti ikke er gået frem? Sikkert ikke. Ændringerne er stadigt store. Og det er mest sandsynligt, at så store forskelle er udtryk for reelle ændringer. Samtidig har SF’s formand været gennem en møgsag, hvilket også bør øge vores tro på, at ændringen for partiet er reel. Partierne er sikkert gået henholdsvis frem og tilbage. Politikens brøde består alene i, at de kommer til at give det indtryk, at vi kan være mere sikre på disse ændringer, end vi reelt bør være.

Det er svært at være andet end begejstret for, at Politiken tager den statistiske usikkerhed alvorligt. At de overhovedet prøver er bedre end ingenting. Bliv ved med det. Men bliv lidt bedre til det.

Er økonomiske prognoser værdiløse?

Det indtryk kan man sidde tilbage med efter at have læst Informations kritik af de økonomiske prognoser. Som vi skrev om i går, finder Information grundlæggende, at der er betydelig usikkerhed ved økonomiske prognoser. Men hvad er alternativet? Det svarer de ikke på. Vi vil påstå, at de økonomiske prognoser tjener en nyttig funktion og er bedre end de mulige alternativer. Selvom prognoserne er langt fra perfekte.

Konkret afslører Information, at  økonomiske prognoser af den økonomiske vækst i gennemsnit falder et procentpoint  fra den faktiske vækst.  Det er afvigelser, som man ikke kan løbe fra. Men kan der ikke stadig være værdifuld information i prognosernes  bud på, hvordan dansk økonomi kommer til at se ud næste år?

Prognoserne er det bedste alternativ

Vi har valgt at tage udgangspunkt i én af de prognoser som Information undersøger, Det Økonomiske Råds (DØRS) prognose.  DØRS prognose har en særlig interesse, da disse i princippet er uafhængige af politiske eller andre særinteresser, og derfor må anses som de mest pålidelige.

For at undersøge om DØRs prognose har en værdi kan man først se, om der overhovedet er en sammenhæng mellem deres bud og den faktiske vækst. Er det rent faktisk sådan, at når DØRS forudsiger høj vækst, så får vi dette? Og omvendt.

Dette undersøges i figuren nedenfor. Den viser en ret stærk sammenhæng mellem DØRS prognose og den faktiske vækst.

En anden måde at undersøge værdien af en prognose er at sammenligne den med nogle relevante ”common-sense” forudsigelser. Et eksempel på dette kunne være  et historisk gennemsnit af den økonomiske vækst. Her forudsiger man altså næste års vækst ved bare at se på, hvad væksten typisk er i Danmark. Et andet sammenligningsgrundlag er at bruge dette års økonomiske vækst til at forudsige næste års vækst.  

Også her klarer DØRS prognose sig ganske godt.   

Vi kommer således 47 pct. tættere på den faktiske vækst, hvis vi bruger DØRS prognose end, hvis vi bruger et historiske gennemsnit til at forudsige næste års vækst. Og omtrent 40 pct. bedre end, hvis vi bare bruger sidste års vækst. Med andre ord: prognosen er ikke værdiløs. Langt fra. Den fortæller os noget substantielt, om hvordan økonomien udvikler sig.

Vi har brug for prognoser

Selvom de økonomiske prognoser ikke er perfekte, er de altså det bedste bud på, hvordan økonomien kommer til at se ud næste år. Men er det overhovedet vigtigt med økonomiske prognoser? Hvorfor er det noget, vi som samfund har en interesse i? Har vi overhovedet brug for dem?

For at besvare det sidste spørgsmål først: Ja, vi har brug for dem. Det er interessant for os at have en ide om, hvor samfundsøkonomien bevæger sig hen. Når vi som samfund skal træffe beslutninger, gør vi det selvfølgelig med udgangspunkt i hvordan verden ser ud lige nu, men ofte også afhængigt af hvordan  vi forventer, at den vil blive.  Når regeringen eksempelvis skal beslutte sig for om den skal øge offentlige investeringer næste år, så kræver det et bud på, hvordan den økonomiske situation kommer til at se ud næste år. Hvis økonomien stadig står stille giver investeringer god mening, hvis den er på vej i gang, giver de knap så god mening.

Vi har også en interesse i at kende udviklingen i økonomien er mere jordnære årsager. Ligesom alle os andre er offentlige myndigheder nødt til lægge budgetter på en måde, så der er overensstemmelse mellem indtægter og udgifter. Når staten laver finanslov eller kommunen afsætter penge til folkeskolen på næste års budget, er de nødt til at overveje, hvor mange indtægter de har at gøre godt med. Men det vil i høj grad være bestemt af udviklingen i økonomien. Offentlige myndigheder har en stærk interesse i at kende den økonomiske udvikling på forhånd.

Private personer kan også have en interesse i at have en idé om, hvor økonomien bevæger sig hen. Der findes næppe en boligejer, der købte på toppen, som ikke ville ønske, at han eller hun havde kendt til den fremtidige udvikling på boligmarkedet allerede dengang. Men hov. Er netop boligboblen ikke et fremragende eksempel på en udvikling, der ikke blev opfanget af de økonomiske prognoser? Jo. Men spørgsmålet er, hvad man ellers kunne have stolet på. Og det er netop pointen:

Prognoserne er ikke perfekte. Men de er bedre end alternativet. Det er vigtigt, at vi husker at bruge dem som et kvalificeret gæt og ikke som et facit for, hvordan økonomien bliver. Men det er for nemt blot at konstatere, at der er et misforhold mellem deres vægt i den offentlige debat og deres præcision. Man er nødt til samtidig at overveje, hvad alternativet er

Hvor dårlige er økonomiske prognoser egentlig?

Kun én ud af 35 økonomiske prognoser rammer rigtigt. Under denne overskrift har Information kritiseret prognoser udarbejdet af både private virksomheder, interesseorganisationer og offentlige institutioner.

Konkret konkluderer Information, at ”[n]æsten alle økonomernes vækstforudsigelser rammer forkert”.  En interessant konklusion. Faktisk så interessant, at Danmarks Radio og Berlingske har citeret Informations opgørelse.

Men kan det virkelig være rigtigt? Ja, det kan det faktisk, hvis man har en meget snæver forståelse af, hvornår en prognose rammer rigtigt. Billedet er dog noget mere nuanceret end Information giver udtryk for. For selvom de økonomiske prognoser sjældent rammer helt præcist, så kan de stadig bruges til noget. I denne uge sætter vi fokus på økonomiske prognoser. I dette indlæg stiller vi skarpt på det problematiske i Informations opgørelse. Senere på ugen ser vi på, hvad der gør en prognose værdifuld, og hvorvidt de økonomiske prognoser kan siges at være dette.

Information kommer frem til at én ud af 35 prognoser rammer plet. Det tal finder de ved at dividere antallet af prognoser, der korrekt forudsiger den økonomiske vækst til første decimal med antallet af økonomiske prognoser foretaget af fem forskellige aktører siden 1970.

Det er en meget hård måde at vurdere enhver prognose på. Særligt prognoser af noget så komplekst og dynamisk som økonomisk vækst.  Faktisk er det så svært at forudsige økonomisk vækst, at vi end ikke ved hvad væksten bliver i 2013. Ja, faktisk sker det tit, at man ændrer vurderingen af den økonomiske vækst bagudrettet. Derfor er det også urimeligt at forvente, at økonomiske prognoser skal ramme rigtig ned til en decimal, før man siger at de rammer rigtigt.

Metoden siger derudover ikke meget om den reelle træfsikkerhed. Den tager således ikke højde for hvor langt prognoserne falder fra det rigtige resultat. En prognose der falder 0,1 procentpoint fra det rigtige resultat burde således vurderes som langt bedre end én, der falder 2 procentpoint fra det rigtige resultat. På samme måde som at en vejrudsigt, der forudsiger 10 millimeter regn, stadig er en god prognose, selvom vi får 11 millimeter regn.  Sådanne nuancer går imidlertid tabt i denne simple måde at opgøre prognosernes kvalitet på.

Alt i alt er Information succeskriterium både konservativt og uinformativt.

En mere fair opgørelse?

I figuren nedenfor har vi set på, hvad der sker, hvis man justerer på Informations meget hårde succeskriterier. Det har vi gjort ved skridtvis at ændre den acceptable fejlmargen for, hvornår en prognose er acceptabel. Eksempelvis svarer 0,5 til, at en prognose rammer rigtigt med plus eller minus 0,5 procentpoint. Dernæst har vi udregnet, hvor stor en andel af prognoserne, der rammer plet ud fra hvert nyt interval for accept.

Helt til venstre i grafen er de 2,8 pct. (1/35) som Information bruger i sin artikel. Her er intervallet på 0. Prognosen skal altså forudsige helt præcist til en decimal, før den betegnes som korrekt.  Men som det ses, bliver andelen af korrekte prognoser hurtigt større, hvis man giver prognoserne lidt snor. Hvis prognoser, der ligger +/ 0,1 procentpoint fra den økonomiske virkelighed også tælles med som korrekte ”prognoser” tredobles antallet af korrekte prognoser således til 3/35.

Ved et interval på 0,5 bliver over en tredjedel af prognoserne korrekte. Og sætter man intervallet op til 1 procentpoint, er omtrent to tredjedele af prognoserne korrekte.

Information inkluderer da også en mere fair opgørelse. Nemlig den gennemsnitlige afvigelse mellem prognosen og det rigtige resultat. Den er 1 procentpoint. Ganske vist en betydelig usikkerhed, men alligevel en noget mere flatterende statistik end de 1 ud af 35, som er artiklens overskrift.

Afslutningsvist vil vi rose Information for, hvor gennemsigtig deres opgørelse er. Metoden er helt klar, og de har fremlagt data, der ligger bag på deres datablog, så de kan downloades med et enkelt klik. Noget vi også kunne lære noget af her på Politisk Kompas. Det kræver imidlertid mere teknisk snilde, end vi besidder.  Indtil vi formår, at få sat noget lignende i stand, vil vi gerne understrege, at hvis man ønsker at se det data, der er grundlag for vores analyser, kan man skrive en mail til en af os. Så skal vi nok fremsende det.

Watch out for Voxmeter

De sidste par uger har mediebilledet været præget af et nyt sæt af målinger. Denne gang er det målingerne fra Voxmeter, der har skabt overskrifter. Målingerne har grundlæggende peget på at rød blok skulle være nogenlunde ligeså stor som blå blok. Noget der har skabt overskrifter i de fleste danske netmedier ( se eksemplevis her).

Dækningen af Voxmeters målinger har  været præget af en manglende forståelse for statistik usikkerhed, men det er ikke kun  det, der er påfaldende ved Voxmeters målinger.

Voxmeter er således det eneste institut, der har været i nærheden af at spå dødt løb mellem rød og blå blok. Vi har derfor set nærmere på Voxmeters målinger det sidste års tid.

Der viser sig et rimelig klart mønster. Siden maj er Voxmeter langsomt begyndt at vurdere rød bloks opbakning højere end de andre institutter. En effekt der er blevet meget udtalt i den seneste måneds tid.

Som det også fremgår af figuren, har Voxmeter taget en rejse, der på mange måder ligner Yougovs målinger, vi skrev om tidligere på året. Om end den ikke har været lige så ekstrem.

De resterende andre institutter ligger til gengæld midt imellem Yougov og Voxmeter. Det viser endnu engang, at selvom en enkelt måling kan give forvirrende og støjende signaler om, hvad danskerne vil stemme, så vil et gennemsnit tale et væsentligt tydeligere sprog.

Poltisk kompas på journalisten.dk

I dag har Politisk Kompas en analyse i fagbladet Journalisten. Den handler om meningsmålinger, og berør flere af de emner vi har været omkring her på bloggen. Analysen kan læses her.

Vi synes det er fedt, at Journalisten tager mediedækning af  meningsmålinger op til diskussion, og vi håber, det resulterer i bedre og mere retvisende journalistiske historier i fremtiden. Lidt i retning af den selvkritik læsernes redaktør på Politiken, Bjarne Schilling, rettede mod sin egen avis i søndags.

Det er der i hvert fald brug for.  

Hvor dårlig var DR's exitprognose?

Det må være hårdt at være nyhedsmedie på en valgdag. Alle venter på resultatet eller gode bud på resultatet. Og man vil gerne være først med det. Men stemmestederne lukker først klokken 20, og da det helt sikkert er en anden type mennesker, der stemmer klokken kvart i otte om aftenen end kvart over ni om morgenen, er det vanskeligt at give et godt bud tidligt.

Men det afholdt ikke DR fra at prøve alligevel. Tidligt på eftermiddagen kunne de slå en stor nyhed op: Rød blok stod til massiv tilbagegang. Værst så det ud for Socialdemokraterne, der ifølge prognosen stod til et rent katastrofevalg med kun 22,7 procent af stemmerne.

I en infoboks kan man læse, at den maksimale statistiske usikkerhed for et parti er +/- 3,6 procentpoint. Prognosen var baseret på 744 respondenter. Denne usikkerhed tager formentlig højde for vægtning og sampling strategi, og det er derfor ikke muligt for os at estimere den præcise usikkerhed omkring Socialdemokraterne. Men hvis vi lader tvivlen komme DR til gode og antager, at den er 3,6 procentpoint, vil det sige, at hvis DR's måling var lavet ordentligt, kunne man på det tidspunkt være 95 procent sikker på, at Socialdemokraternes tilslutning til valget ville blive mellem 19,1 og 26,3 procent.  Det blev den imidlertid ikke.

De fik 29,5 procent af stemmerne.

Er det et tilfælde?

DR ramte altså ikke bare ved siden af. De ramte langt ved siden af. I dag er der da også massiv kritik af DR fra forskere, medier og politikere. Vi kunne have givet mange flere lignende links. DR beklager da også, at de bragte en upræcis prognose, og de siger, at de fremover ikke vil bringe prognoser så tidligt.

Men er der måske grund til at slå koldt vand i blodet? Ovenfor skrev vi, at vi ud fra DR's prognose kun kunne være 95 % sikre på, at Socialdemokraternes sande tilslutning lå mellem 19,1 og 26,3 procent af stemmerne. Det betyder, at der også er 5 procents sandsynlighed for, at den ville ligge uden for. Hvilket den viste sig at gøre. Kan DR og Epinion, der lavede prognosen, ikke bare have været uheldige? Det kan ikke afvises, men det er meget usandsynligt? Hvor usandsynligt?

Da der var valg i går, er vi i den heldige situation, at vi kender Socialdemokraternes sande tilslutning. Det giver os mulighed for at beregne, hvor sandsynligt det er at få en tilslutning for Socialdemokraterne, der afviger ligeså meget eller mere, som den i DRs prognose. Sandsynligheden for det er 0,005 procent. Det vil ske cirka en ud af 20.000 gange.

Vi tror mere på, at DRs måling har været dårlig end uheldig.

Men er det ikke bedre end ingenting?

Vi har indtil videre fokuseret på Socialdemokraterne, fordi det her er mest åbenlyst, at exit-prognosen rammer mest ved siden af. Ser man på de andre partier, er det ikke kønt, men det er klart mindre skævt end for Socialdemokraterne. Så kunne prognosen måske alligevel fortælle os noget, vi ikke vidste i forvejen?

For at besvare det spørgsmål kan man se på, hvor skævt den samlet ramte. Et udmærket mål for dette er udviklet af politologen Michael Gallagher, og hedder Gallaghers indeks. Det måler graden af disproportionalitet mellem en måling, og det faktiske resultat. Værdien nul svarer til, at der er fuldstændig overensstemmelse mellem målingen og resultatet.

Havde man brugt det seneste kommunalvalg til at forudsige tilslutningen for partierne havde man fået en disproportionalitet på 7,8. Disproportionaliteten mellem DR's prognose, og valgresultatet var 5,7. Det er bedre end bare at bruge det seneste valg, men ikke meget. Til sammenligning er disproportionaliteten mellem den forudsigelse vi lagde op i går og resultatet 1,7. Det havde altså været markant bedre at bruge en samling af de målinger, der fandtes i forvejen – selvom vi også skød Socialdemokraterne lidt for lavt, når vi gjorde det.

Hvorfor så skævt?

Vores forudsigelse byggede på meningsmålinger offentliggjort inden valget. Og de rammer væsentligt bedre end DR's exit-prognose. Hvad kan være gået galt?

For det første kan vi udnytte, at de mange undersøgelser tilsammen har flere deltagere. Det reducerer de tilfældige fejl. Men ovenfor så vi, at DR's vildskud næppe skyldtes tilfældige fejl alene. Der har også været systematiske fejl. Hvordan kan de have sneget sig ind?

Det indlysende svar er, at Epinion er kommet til at undersample socialdemokratiske vælgere systematisk. Det kan der være en række årsager til. Det er for det første åbenlyst, at det næppe er et repræsentativt udsnit af vælgerne, der stemmer inden klokken 14. Det ved Epinion godt, og de har utvivlsomt haft en model, hvor de forsøgte at tage højde for dette.

En anden ting, der kan bidrage til forklaringen, er, at det kun var omkring 7 ud af 10, der stemte, samt at vi i går så en pæn stigning i valgdeltagelsen. En del af exit-prognosen var foretaget inden valget. Her har Epinion utvivlsomt prøvet at korrigere for, hvem der ville stemme. Det kan tænkes, at det ikke er lykkes tilstrækkeligt.

Endelig er det formentlig bare sværere at forudsige kommunalvalgsresultatet, fordi der er nogle mere lokalspecifikke forhold, der gør sig gældende, og det er svært at korrigere nøjagtigt for dem. Det skaber ganske enkelt større usikkerhed omkring de estimater, man får.

Alle disse ting er Epinion uden tvivl selv klar over, og man må formode, at de også prøver at finde ud af, hvordan de kan justere deres modeller, så de kan opnå en præcision, de kan være tilfredse med en anden gang.

DR siger, at de fremover vil vente med at bringe exit-prognoser til senere. Det gør de sikkert klogt i. Ligesom de, og andre, gør klogt i at huske på, at man altid, altid, altid skal have en sund portion skepsis, når man ser usikre målinger med et meget overraskende resultat. 

Hvem vinder kommunalvalget? Mens vi venter på exit-polls

I dag er der kommunalvalg. Det er et spændende valg, og Politisk Kompas har ventet utålmodigt på valgaftenen, som små børn der venter på juleaftenen. For kommunalvalg betyder masser af valg, masser af drama og ikke mindst masser af data og statistik.

Valgdagens første rigtige gave kommer når DR og TV2 offentliggør deres exit-polls. Meningsmålinger hvor man spørger danskerne, hvad de har stemt, efter de har stemt. Noget der gør målingerne noget mere pålidelige.

Mens vi venter på  exit-polls, har vi lavet vores bud på hvordan danskerne vil sætte deres kryds i dag. Det har vi gjort ved at samle en række målinger, der er blevet foretaget over de seneste par uger.

Resultatet kan ses her:

Som man kan se ligger Venstre og Socialdemokraterne meget tæt, og både de Konservative og SF står til at gå markant tilbage.

Det bliver en spændende valgaften og nat.

Bemærk desuden, at der selvfølgelig er statistisk usikkerhed tilknyttet prognosen. Det er med andre ord ikke det endelige valgresultat, du kan se ovenfor – men det er vores bedste bud.

Hvordan har vi gjort?

Vi har taget et vægtet gennemsnit af Epinion, Gallup og Voxmeters målinger. De har alle spurgt danskerne, om hvad de vil stemme til kommunalvalget.

Vi har vægtet målingerne efter to parametre:  hvor længe siden det er målingen blev foretaget og antallet af respondenter.

Vejede gennemsnit af meningsmålinger rammer næsten altid meget tæt på valgresultatet.

Journalisten skriver om problemer med skæve meningsmålinger.

I juni havde vi her på bloggen et par indlæg om, at YouGovs meningsmålinger havde det med at ramme anderledes end resten af feltet af meningsmålingsinstitutter. Målingerne havde samtidig en uheldig tendens til at blive citeret oftere end andre målinger, der afveg mindre fra gennemsnittet. Indlæggene kan læses her og her. Vi havde også dette indlæg om, hvorfor meningsmålinger kan svinge relativt meget.

Fagbladet Journalisten har opdaget den samme tendens hos YouGov og MetroXpress, der bringer YouGovs målinger. Det er der kommet denne fine og meget læseværdige artikel ud af. Hos Politisk Kompas har vi ikke noget mod YouGov eller nogen af de andre meningsmålingsinstitutter, og vi er ikke i tvivl om, at de prøver at ramme rigtigt. Om det er YouGov eller de andre, der rammer mest præcist er svært at sige, da de netop alle prøver at estimere noget, der kun bliver udtrykt, når der er folketingsvalg. Nemlig opbakningen til de forskellige partier, hvis der var valg i morgen.

Men vi er glade for, at der kommer en diskussion af, om nogle metoder er bedre end andre, og især om det er hensigtsmæssigt, hvis medierne fokuserer på de tal, der afviger mest. (Et lille hint: Det synes vi ikke, at det er.) 

Når overdrivelse ikke fremmer forståelsen

Overdrivelse fremmer forståelsen. Det siger man i hvert fald. Og det er øjensynligt et retorisk trick som politikere og samfundsdebattører bruger tit.

I sit program ”Asger og De Langtidsledige” siger Asger Aamund eksempelvis gentagene gange at der er 800.000 danskere, der står uden for arbejdsmarkedet. Noget som Detektor viste, var noget af en overdrivelse.

 

Men betyder det overhovedet noget? Vi ved jo godt, som seere, at det politikere og kommentatorer siger ikke altid passer – og så kan det jo ikke påvirke os. Eller kan det?

 

Alle har brug for et anker

En række studier inden for kognitiv psykologi viser imidlertid, at sådanne overdrivelser – selvom man ikke tror på det – kan påvirke ens opfattelse af, hvordan virkeligheden er skruet sammen.

I et meget kendt eksperiment præsenterede Mussweiler og Strack en gruppe af universitetsstuderende for et af to urealistiske udsagn. Halvdelen fik af vide at Mahatma Gandhi blev 140 år gammel, og halvdelen fik af vide at Mahatma Gandhi blev 9 år gammel. De kunne derefter angive, hvorvidt de mente, dette bud var fornuftigt, samt give deres eget bud.

Alle som ved hvem, hvem Gandhi er, vil vide at begge dele er fuldstændig urealistisk. De studerende kategoriserede også udsagnene som helt ude i skoven. Alligevel blev de påvirket af udsagnet, da de skulle give deres eget bud. De, der havde fået at vide, at Gandhi blev 140 år gættede gennemsnitligt på, han var 17 år ældre, end de, der havde fået at vide, at han blev 9 år gammel.

Selvom de studerende ikke troede på udsagnene, blev de altså påvirket af dem.

Psykologerne forklarer i deres undersøgelser, at effekten skyldes den måde, vores hjerne fungerer på. Når hjernen skal producere en selvstændig holdning eller en vurdering, så bruges det urealistiske udsagn som  et slags anker. Et udgangspunkt for ens søgen efter en realistisk værdi.

Betyder det noget i politik?

Men er det virkeligt det samme i politik. De fleste er jo mere interesserede i arbejdsløshed og kriminalitet end Gandhis alder. Derfor kunne man også godt forestille sig, at overdrivelse ikke har samme undergravende effekt på vores vurderinger, når det kommer til mere samfundsrelevante faktorer.

For at undersøge dette udsatte vi 205 statskundskabsstuderende på Københavns Universitet for et lignende eksperiment.

 

De studerende blev præsenteret for et af to urealistiske udsagn om antallet af arbejdsløse. Halvdelen fik at vide, at kun 2 pct. af danskerne er arbejdsløse. Den anden halvdel fik at vide, at arbejdsløsheden er på 20 pct. Efterfølgende skulle de studerende vurdere, hvorvidt de mente udsagnet passede (det gjorde kun en enkelt) og komme med deres eget bud. Resultatet kan ses i nedenstående figur.

Som man kan se af figuren, vurderede de, der blev præsenteret for en arbejdsløshedsprocent på 20 procent, at den faktiske arbejdsløshed var omtrent et halvt procentpoint højere, end de der blev udsat for en arbejdsløshedsprocent på 2 pct.

Selv i en meget politisk interesseret gruppe (statskundskabsstuderende) og med et centralt emne (arbejdsløshed) kunne en fuldstændig urealistisk overdrivelse altså påvirke folks vurderinger.

Dette viser – om noget – hvorfor det er vigtigt, at politikere (og medier) skal holdes i ørerne, når de kommer med vilde udsagn. Selvom vi måske godt ved, at politikere og medier overdriver, så bliver de qua deres store eksponering en naturlig referenceramme for hvordan vi opfatter vores samfund.  

Hvornår koster politiske skandaler?

Hvis man følger bare en smule med i politik herhjemme, er det næppe gået en forbi, at Lars Løkke Rasmussen har lidt problemer med nogle dyre rejser. I den forbindelse har Videnskab.dk interviewet professor Kasper Møller Hansen (ph.d.-vejleder for os begge to) om en ny videnskabelig artikel, som han netop har udgivet sammen med to af vores andre kollegaer (den findes her). I artiklen har de med et sæt eksperimenter, indlagt i en spørgeskemaundersøgelse, prøvet at finde ud af, hvordan vælgerne straffer politikere for skandaler. De finder:

 … substantial evidence that politicians are particularly punished for political-ideological hypocrisy, while there is less evidence that gender stereotypes matter. We also show that voters evaluate scandals in the personal lives of politicians in a highly partisan manner – other-party voters punish a politician substantially harsher than same-party voters.

 Politikere bliver straffet, hvis de handler i modstrid med deres ideologi. Det vil eksempelvis sige, at en socialdemokratisk politiker, der sender sit barn i privatskole, bliver straffet hårdt (i menngsmålingerne), mens vi synes det er ok hvis en venstrepolitiker gør det samme.

 Mere konkret finder de, måske ikke så overraskende, at vælgerne straffer politikere, de er  uenige med meget hårdere end dem, de normalt stemmer på. Man er altså mere overbærende over for Lars Løkke lige for tiden, hvis man normalt stemmer Venstre.

Vil man gerne læse mere om temaet, og hvad det aktuelt kan betyde for Lars Løkke Rasmussen, kan vi anbefale, at man læser videre på videnskab.dk.

Har Megafon interviewet 33.000?

… eller er det TV2, der glemmer alt om statistisk usikkerhed? Det korte svar på spørgsmålet er, at Megafon har interviewet 1.155, og TV2 og andre medier har kastet alle overvejelser om statistisk usikkerhed over bords.

Hvorfor overhovedet stille spørgsmålet? Jo, fordi blandt andet TV2, BT, Politiken og Berlingske skriver, at Venstre er i en ny måling fra Megafon er gået 3,3 procentpoint tilbage fra deres seneste måling, og de står til 26,3 procent. Og det er mindre end ved det seneste valg, hvor partiet fik 26,7 procent. Men kan vi på baggrund af Megafons måling være sikre på, at Venstre ville blive mindre end ved det seneste valg, hvis der var valg i morgen?

Det korte svar er, at vi ikke kan være særligt sikre. Vi kan være ret sikre på, at Venstre er gået meget tilbage. Det er en stor historie i sig selv. Og man burde undre sig over, at TV2 og andre ikke bare kører på den historie, som der formentlig er hold i, i stedet for at stramme den til en ret løs konklusion.

Når man arbejder med meningsmålinger og meget anden statistik, er det rigtige spørgsmål ikke, hvad man kan være sikker på, men hvor sikker, man kan være. Så lad os stille det spørgsmål: Hvor sikre kan vi være på, at Venstre er mindre end ved valget i 2011?

En ikke helt sikker konklusion af TV2

Ifølge Politiken har Megafon spurgt 1155 personer i deres måling. Hvis de har spurgt et tilfældigt udvalg udsnit af befolkningen, så er der omkring 61 procents sikkerhed for, at Venstre er mindre end i 2011. (Der kan være detaljer omkring Megafons måling, som vi ikke kender til, der kan ændre denne størrelse marginalt).

Er 61 procents sikkerhed nok til, at et seriøst medie som TV2 og andre medier vil trykke noget? Åbenbart. I hvert fald når det kommer til meningsmålinger. Og det er ikke noget enkeltstående tilfælde. Medierne synes ofte at være lykkeligt uvidende om den usikkerhed, der knytter sig til meningsmålinger.

Statistisk usikkerhed

Hver gang man ser en meningsmåling, er et sundt spørgsmål, man kan stille sig selv: Hvad er usikkerheden. For der vil altid være en usikkerhed, der blandt andet afhænger af, hvor mange man har spurgt og variationen i deres svar. Noget vi tidligere har skrevet om her.

Kort sagt er problemet, at vi med en meningsmåling prøver at måle noget essentielt ukendt. Fx vælgernes tilslutning til Venstre. Vi tager en stikprøve og ”gætter” på, at den sande vælgertilslutning, den ude i befolkningen, er den samme som i stikprøven. Altså gætter vi, at Venstre står til 26,3 procent ud fra Megafons måling. Men vi ved også, at dette tal er behæftet med en usikkerhedsmargin.

En god tommelfingerregel er, at usikkerheden er plus/minus tre procentpoint i meningsmålinger. Det vil sige, at når vi har lavet en meningsmåling, hvor vi prøver at måle noget essentielt ukendt (fx Venstres aktuelle tilslutning i befolkningen), vil det, vi i virkeligheden prøver at måle, med 95 procents sikkerhed ligge inden for tre procentpoint af det, vi kom frem til.

Med den tommelfingerregel vil man hurtigt stille sig skeptisk over for en hver historie, der som TV2’s, konkluderer ud fra en forskel på blot 0,4 procentpoint. Faktisk kan vi ud fra Megafons måling regne os frem til, at vi kan være 95 procent sikre på, at Venstre ville få mellem 23,8 og 29,0 procent af stemmerne, hvis der var valg i morgen. Altså cirka plus/minus 2,6 procents usikkerhed omkring Megafons gæt.

De 33.000 og hvad de skulle have sagt

Vi har også regnet på, hvor mange man skulle spørge for med sikkerhed at kunne sige, at Venstre ville være mindre end ved det seneste valg. Hvis vi fastholder en forskel på 0,4 procentpoint, skal man ”bare” spørge lidt færre end 33.000 tilfældigt udvalgte danskere for at være 95 procent sikker på, at Venstre rent faktisk er mindre end nu end ved valget i 2011. Det er som skrevet forudsat, at der også i den stikprøve er en forskel på 0,4 procentpoint. (Til de særligt interesserede er det, hvis man laver en ensidet test.) Den eneste ”meningsmåling”, der kommer i nærheden af det, er faktisk folketingsvalgene.

Man bør ikke konkludere, at Venstre er mindre end ved seneste valg. Og det er lidt trist, at det er den historie, der trænger igennem. For den mangler dybest set belæg. Men målingen er samtidig en af flere nylige målinger, der alle sender Venstre markant tilbage. Hvorfor ikke bare blive ved den historie, der er vigtig i sig selv? Det er fx vinklen i denne afrapportering af en Gallup-måling, hvor Venstre ligger marginalt over 2011-resultatet. For det er meget sikkert, at Venstre er gået væsentligt tilbage fra da de havde over 30 procent af stemmerne. 

Vælgerfiasko?

Det her en lille sjov historie som vi faldt over for noget tid siden. Politiken havde en historie under overskriften: Vælger fiasko lurer for kommunalvalget. Historien byggede på en rapport fra KORA, som har lavet en survey i løbet af foråret, der viser, at kun 75 pct.var helt sikre på, at de ville stemme ved kommunalvalget i november.

Undersøgelsen fejler ikke noget. Men tallet illustrerer en pointe, vi tidligere har haft. I tidligere indlæg har vi skrevet om, at det ikke altid er lige heldigt at spørge til om folk vil stemme eller har stemt, fordi de vil være tilbøjelige til at svare det socialt accepterede - at de har stemt. Det her er et fantastisk eksempel. Ved det seneste kommunalvalg var deltagelsen på landsplan 66 pct. Hvis vi skulle tage surveyresultatet for gode varer, så burde overskriften nok have været "vælgersucces". 

Så man kan ikke tage tallet for gode varer, og overskriften bygger da også på, at de 75 pct. er lavere end i tidligere undersøgelser, der er foretaget forud for valg. 

Er Socialdemokraterne mindre end Dansk Folkeparti?

Deadline bragte sidste lørdag en historie om Socialdemokraternes krise. Og Socialdemokraterne er uden tvivl i krise. Men Deadline smurte lige lovlig tykt på.

Indslaget blev således indledt med at værten, på baggrund af den seneste Epinion-måling, bekendtgjorde at Socialdemokraterne var blevet Danmarks tredjestørste parti. Overhalet af Dansk Folkeparti. Der er to problemer med denne vinkling.

For det første kan man ikke rigtigt bruge Epinion-målingen til at konkludere, at Socialdemokraterne var blevet mindre end Dansk Folkeparti. Den faktiske forskel viste ganske rigtigt et lille forspring til DF på 0,3 procentpoint. Hvis vi omsætter det til svarpersoner i målingen, svarer det til, at der var tre flere, der sagde de ville stemme på DF end der var folk der sagde, de ville stemme på S. Ikke videre imponerende. Konkret svarer det til, at der var 58 pct. sandsynlighed for at DF var større end S. Eller sagt på en anden måde: at der var 42 pct. sandsynlighed for at S blev større end DF.

For det andet er Epinion-målingen ikke et udtryk for en generel tendens. Figuren nedenfor viser resultatet af 32 målinger foretaget over de seneste fire måneder. Cirka en tredjedel af disse målinger giver et forspring til DF, men to ud af tre giver et forspring til S. De lodrette streger i figuren er udtryk for den statistiske usikkerhed knyttet til den enkelte måling, såfremt den er foretaget eksemplarisk. Hvis vi tager højde for dette er forholdet omtrent det samme: fire målinger giver et forspring til DF, ni målinger giver et forspring til S. Gennemsnitligt har S et forspring på 1,3 procentpoint.

Der var altså intet belæg for den vinkel som Deadline lagde. Og det værste er, at man let kunne have lavet en skarp vinkling, hvor man ikke kom på kant med sandheden: nemlig at Dansk Folkeparti og Socialdemokraterne var blevet nogenlunde lige store. Det er da en nyhed i sig selv.

Et svar til Foreningen Nydansker

Formanden for Foreningen Nydansker, Torben Møller Hansen (TMH), svarer i dag på vores kritik af deres undersøgelse omkring fritidsjobs effekter på senere job og beskæftigelse. Svaret kan læses på Netudgaven, som vi samarbejder med.

Vi sætter stor pris på at Foreningen Nydansker har læst med, og på at de har taget sig tid til at svare på vores kritik. Svaret er oplysende og afklarer nogle af de ting, som vi har sat spørgsmålstegn ved.

Alligevel vil vi gerne kort kommentere på nogle af de ting som TMH anfører i sit svar.

For det første skriver TMH, at der er  ”stor forskel på at tale om sammenhænge og om effekter, og dette gør vi også opmærksom på i rapporten”. Alligevel  består rapporten af en række overskrifter med titlerne ”Effekter på X”, ligesom TMH selv sagde, at det giver afkast på den lange bane at tage et fritidsjob.

Dernæst skriver TMH at ” vores pointe er, at tidlige erhvervserfaringer øger sandsynligheden for at lykkes på arbejdsmarkedet.” Det er vi sådan set med på.  Vores pointe er, at foreningen ikke kan sige noget, om hvorvidt den øgede sandsynlighed for at lykkes på arbejdsmarkedet skyldes fritidsjob. De godt kan have nogle formodninger omkring, at det rent faktisk er fritidsjobbet i sig selv, der øger denne sandsynlighed. Rapporten gør os bare ikke klogere på, om dette er mere end en formodning.

Endeligt skriver TMH, at undersøgelser grundlæggende er det muliges kunst. Det er vi meget enige i. Og vi vil meget gerne i dialog med dem omkring, hvordan man kunne skabe bedre effekt estimater, både gennem eksperimenter og igennem bedre brug af registerdata. Men nogle gange skal man også have respekt for det umulige. Det kan være bedre at være ærlig og oprigtig omkring sin uvidenhed end at gå efter den hurtige og nemme løsning. Et problem vi selv står med stort set hver dag.

Afslutningsvist vil vi gerne understrege, at vi faktisk tror at Foreningen Nydansker har ret. Vores ”gut-feeling” siger os, at fritidsjob har positive effekter, men hvis målet, som TMH skriver, er at dokumentere en sådan effekt, så når rapporten ikke i mål.

Fra fritidsjob til fuldtidsjob IV

I den seneste uges tid har vi diskuteret konklusionerne i og implikationerne af en rapport fra Foreningen Nydansker.

I rapporten mente de at kunne dokumentere en effekt af fritidsjob på beskæftigelse og uddannelse. Som vi har redegjort for, var der imidlertid ikke grundlag for at drage de konklusioner på baggrund af deres rapport.

I dag skriver vi det foreløbigt sidste kapitel i vores føljeton om fritidsjob og fuldtidsjob. Det skal handle om, hvad Foreningen Nydansker kunne have gjort, hvis de rent faktisk ville etablere de kausale effekter af at få et fritidsjob.

Hvornår kan vi tale om kausalitet?

Før end vi kan komme med vores bud på, hvordan foreningen Nydansker kunne have etableret et kausalt forhold mellem fritidsjob og senere beskæftigelse og uddannelse, er det nødvendigt at forstå, hvad kausalitet egentlig er for en størrelse.

Lad os tage udgangspunkt i et eksempel: fritidsjob og lønindkomst som 25-årig. En populær måde at forstå kausalitet på er, at den kausale effekt af fritidsjob på senere lønindkomst er lig forskellen mellem den lønindkomst, man vil få som 25-årig, hvis man havde et fritidsjob som teenager, og den lønindkomst man vil få, hvis man ikke havde et fritidsjob.

En af os, Martin, fik eksempelvis et fritidsjob som mandelbrænder, da han var 15 år. Hvis vi mener, at der en kausaleffekt af fritidsjob, så betyder det altså, at hvis Martins ansøgning var gået tabt med posten, og han ikke havde fået jobbet som mandelbrænder, så ville Martin tjene mindre som 25-årig.

Man siger, at kausaleffekten er lig forskellen på den kontrafaktiske og den faktiske situation. Og her har vi balladen. For det er umuligt at observere den kontrafaktiske situation. Brevet gik jo ikke tabt med posten, og det er derfor umuligt at finde ud af, hvad Martin havde tjent, hvis han ikke havde fået sit fritidsjob.

Dette fundamentale kausalitetsproblem er man nødt til at finde en løsning på, hvis man vil udtale sig om kausalitet. Og der er heldigvis løsninger. Nogle bedre end andre.

Foreningen Nydansker vælger (implicit) en dårlig løsning på det fundamentale kausalitetsproblem. De sammenligner bare de, der rent faktisk fik et fritidsjob med dem, der ikke fik et fritidsjob. De antager således, at den kontrafaktiske situation kan observeres ved at sammenligne én person med fritidsjob og én person uden fritidsjob. En meget problematisk antagelse. Som vi var inde på i vores første indlæg, så er det sandsynligt, at der er en grund til at nogle unge får et fritidsjob, og andre unge ikke gør det. Forældres ressourcer, egen intelligens og sociale kompetence. Grunde der meget vel kan påvirke ens løn senere i livet.

En alternativ løsning

Hvordan kunne Foreningen Nydansker så have løst det fundamentale kausalitetsproblem? Kunne de have fundet en bedre måde at observere den kontrafaktiske situation end en simpel sammenligning? Ja, det kunne de.

De kunne have bedt en af deres mange samarbejdspartnere (der bl.a. tæller McDonalds) om at give dem ansvaret for rekrutteringen til en række fritidsjob. I en ideel (og tænkt situation) kunne de derefter udvælge et lille repræsentativt udsnit af unge mennesker, tilfældigt tildele dem disse fritidsjob, og så se hvilken effekt det måtte have på deres løn og uddannelse senere i livet.

En mere realistisk tilgang kunne være at finde unge mennesker, der gerne vil have hjælp til at finde et fritidsjob. I blandt dem kunne man trække lod om, hvem man vil hjælpe med at finde et arbejde. Når Københavns Kommune vil finde 600 fritidsjob kunne de også sikre, at der er flere egnede kandidater til jobbene end nødvendigt. Igen kunne man tilfældigt fordele jobs blandt de egnede kandidater.

Hvorfor er det bedre? Jo, ved i alle tre modeller at udvælge de der får et fritidsjob fuldstændig tilfældigt, sikrer man, at sandsynligheden for systematiske forskelle på de to grupper bliver minimal. Tilfældigheden gør, at vi kan forvente, at der er ligeså mange unge med ressourcesvage forældre, som unge ressourcestærke forældre, der får et fritidsjob. At de unge der får et fritidsjob har samme sociale kompetence, som de der ikke får et fritidsjob

De to grupper danner grundlaget for den perfekte kontrafaktiske situation. De er kun systematisk forskellige på et punkt: fritidsjobbet.

Hvorfor skal det være så besværligt?

Vores alternativt er væsentlig mere besværligt, end det som Foreningen Nydansker har gjort.  De har jo relativt nemt kunne finde det nødvendige registerdata og derefter nogle succeshistorier, de kunne interviewe.

Men det er besværligt at etablere kausalitet. Det kan ikke gøres uden, at man tænker sig godt om – identificerer den relevante kontrafaktiske situation, og så søger en måde at identificere den på.

Det er en udbredt misforståelse, at bare fordi vi har fået lettere adgang til data, så er det blevet lettere at sige noget om, hvordan den sociale verden er skruet sammen. En anden udbredt misforståelse er, at mere data er bedre data. I Foreningen Nydanskers rapport er flere end 70.000 personer inkluderet.

Det let tilgængelige data ser muligvis ufarligt ud, og bøjer sig umiddelbart efter ens vilje, ligesom  meget data ser imponerende ud. Men store, lettilgængelige datamængder svarer kun på de spørgsmål, man stiller det. Og ingen mængde af data kan reparere en utilstrækkeligt designet undersøgelse.

Hvis man ikke bruger data på en forsigtig måde, hvis man ikke forsøger at sortere støjet fra signalet, så ender man med at komme med uvederhæftige konklusioner, der leder samfundet på gale veje.

Er der noget vundet ved at gøre sig umage?

Det mener vi. Foreningen Nydansker er interesseret i at hjælpe nogle unge mennesker. Nogle finansierer foreningen, fordi de er interesserede i at hjælpe nogle unge mennesker. Og de unge mennesker er interesserede i at blive hjulpet.

Dybest set svigter Foreningen Nydansker alle, inklusiv foreningen selv, med deres rapport. Tænk, hvis deres arbejde ikke virker. Ville deres finansieringskilder ikke være bedre tjent med, at Foreningen ændrede deres strategi? De unge mennesker ville i hvert fald. Og det er vores indtryk, at foreningen følger sit virke med gode intentioner. At de er en forening af ildsjæle, der brænder for at gøre en forskel for deres målgruppe. Ville det ikke også være i deres egen interesse at finde ud af, om de bruger deres energi på noget, der nytter?

Fra fritidsjob til fuldtidsjob III

Tidligere på ugen kritiserede vi i to forskellige indlæg (her og her) Foreningen Nydanskers rapport om effekterne af at have et fritidsjob. Hvis man har læst begge indlæg, tænker man måske: hvorfor skal vi gå så meget op i, hvad Foreningen Nydansker går og laver?

For os har der været to primære årsager til at udfordre rapportens konklusioner. For det første kan der være nogen, der bruger rapporten til at fremme en sag eller en politik. For det andet er den et godt eksempel på, hvordan medierne er alt for ukritiske i deres omgang med denne slags rapporter. Medierne formåede her ikke at være tilpas kritiske og videreformidlede, hvad man kan kalde "falsk viden". Og på den måde ender de med til at gøre os en lille smule dummere som samfund.

Alligevel vil nogen sikkert stadig tænke: Ja ja, de har lavet en dårlig rapport, som er kommet lidt i medierne. Men det er alligevel glemt om en uge. Eller er det?

Er rapporten glemt i morgen?

Vi håber det. Vi håber, at deres rapport vil være glemt. At de fik lidt taletid for deres sag, men at det aldrig rigtigt vil blive til mere end det. Men det er svært at vide sig sikker. De kom ud til et bredt udsnit af befolkningen. Og læser man Ugebrevet A4's artikel om rapporten, vil man se, at i hvert fald Københavns Kommune bruger rapportens konklusioner til at begrunde et politisk tiltag.

Københavns Kommune vil afsætte midler til at skabe 600 fritidsjobs. På trods af at man på ingen måde kan udlede af foreningens rapport, at det vil gavne det fjerneste. Man bruger altså tid og ressourcer, herunder skattepenge, på noget, der måske ikke har nogen effekt. Og begrunder det med rapportens resultater.

Tænk, hvis det er omvendt?

Der kan være mange grunde til at tro, at fritidsarbejde har en gavnlig effekt. Nogle af disse nævnes i A4's artikel. Man kan fx danne et netværk, og man lærer at møde til tiden og spillereglerne på arbejdsmarkedet. Og der kan være flere ting. Men vi kan ikke være sikre.

Og det er plausibelt, at det forholder sig anderledes for dem, der ikke arbejder. At deres tid er bedre brugt i lektiecaféer eller ved at dyrke en fritidsaktivitet. Det er ikke kun ved at gå med aviser eller vende burgere på McDonald's, at man kan få sig et netværk eller lære værdier som selvdisciplin.

Her når vi også indtil det menneskelige problem bag de grundløse konklusioner. Ude i virkeligheden vil unge som voksne bruge den viden, som de bliver præsenteret for. Forældre vil måske høre om undersøgelsen og blive nervøse for, om deres søn eller datter egentlig burde stå i 7-11 søndag eftermiddag i stedet for at hænge ud i lektiecaféen. Selvom vedkommende måske klarer sig udmærket i skolen og har en lys fremtid forud.

Nyhedsværdien

TV-Avisen klokken 18.30 havde i snit 381.000 seere i sidste uge. Læg dertil seere af DR2 Morgen, og folk der enten har læst om undersøgelsen i et af de skrevne medier, herunder Ugebrevet A4, eller har hørt om den i radioen, hvor flere kanaler også tog den op. Undersøgelsen er nået bredt ud. Selvom vi holder det tæt ind til kroppen, hvor mange der læser Politisk Kompas, kan vi godt afsløre, at undersøgelsen er kommet mere end en smule bredere ud end vores blogindlæg.

Vi har skrevet til DR og Ugebrevet A4. Vi opfordrede dem til at fjerne eller berigtige deres indslag. Vi regnede ikke med, at det ville ske. Og indtil videre har vi fået ret. En historie om, at fritidsjob gavner i fremtiden, er en god historie. Den er nem at tro på. For de fleste er det formentlig også noget, man gerne vil tro på. En historie om, at den oprindelige historie ikke passede… Den er knap så interessant.

For det første er det, indrømmet, en mere teknisk historie. Vi prøver at gøre vores argumenter let tilgængelige. Men for mange er det bare svært at forstå forskellen på sammenhæng og effekt. For det andet indebærer det, at man som medie frivilligt skal indrømme, at man har taget fejl. At man er faldet for en rapport, der ville dumpe, hvis det havde været en studenteropgave på Statskundskab, hvor vi underviser.

Men er det okay? Er det okay, at man som medie ukritisk formidler en undersøgelses resultater. Har man ikke pligt til at fortælle, når man har taget fejl? Foreningen Nydansker har fået lov til at komme ud med deres dybest set ubegrundede konklusioner, men hvor er dementiet? Der er ikke nogen, der tager ansvar for at fortælle de mennesker, der har set resultaterne, at de ikke kan tro på dem alligevel. Vi mener ikke, at det er okay.

Medierne bør tage deres folkeoplysende rolle mere seriøst. Foreningen Nydansker har lavet en rapport, som de slugte råt. Vi synes, det havde været bedre, hvis den aldrig havde været lavet. For vi er ikke blevet klogere af den. Tværtimod.

Her slutter kritikken af rapporten og dens implikationer for denne gang. I vores næste indlæg vil vi blive konstruktive og foreslå, hvordan Københavns Kommune kunne undersøge, om deres 600 fritidsjob gør en positiv forskel. To hints: De behøver ikke at lave kvalitative interviews, og det bliver ikke helt ligetil. 

Fra fritidsjob til fuldtid? II

I går havde vi et indlæg om en ny rapport fra Foreningen Nydansker. I indlægget pegede vi på at rapporten indeholdt en lang række problematiske konklusioner om effekten af at have et fritidsjob på senere beskæftigelse og uddannelse.

Som vi skrev om i går, giver de overordnede formuleringer i rapporten og udtalelserne fra direktøren for Foreningen Nydansker, der står bag rapporten, et klart indtryk af, at rapporten har påvist et årsags-virknings forhold mellem at have et fritidsjob som ung og senere uddannelse og beskæftigelse. En kausaleffekt om man vil.

For at være fair overfor rapportens forfattere nævner de, at en korrelation ikke nødvendigvis er det samme som en kausalitet. Selvom de undlader at reflektere over hvilke faktorer, der kunne være årsager til korrelationen. (Igen kan vi henvise til gårsdagens indlæg her på bloggen.)

Til gengæld har de lavet interviews med 24 personer for yderligere at belyse, om der er tale om et kausalt forhold?

Kan vi etablere kausale forhold gennem interviews?

Kan man virkelig bruge interviews som en substitut for at kontrollere for andre faktorer, der måske skaber korrelationen? Det mener vi ikke. Kan man bruge interviews til at etablere kausalitet på den måde, som Foreningen Nydansker har gjort det? Det mener vi slet ikke.

Interviews kan måske være egnede til at afdække, hvordan kausale mekanismer fungerer. Altså hvad er de dybere forklaringer på kausale forhold (hvorfor har fritidsjob en effekt?). Men de kan aldrig bruges til at etablere en kausaleffekt. (En af de kommende dage vil vi skrive et indlæg, hvor vi diskuterer, hvad kausalitet er, og hvad der skal til for, at vi kan tale om kausalitet. Glæd jer.)

Som vi slog fast i går, kan man ikke på baggrund af foreningens rapport finde belæg for, at fritidsjob har en kausaleffekt. De mangler simpelthen at tage højde for, at andre faktorer kunne påvirke både sandsynligheden for at få et fritidsjob, og sandsynligheden for at få en uddannelse eller et job senere i livet.   Selvom de lavede interviews herfra og til årets udløb, ville de ikke kunne komme omkring det faktum.

Man får svar fra dem, man spørger

Interviews kan imidlertid være et fint supplement til metoder, der kan etablere kausalitet.

Desværre er rapportens brug af interviews også kritisabel. Det fremgår, at Foreningen Nydansker har gennemført interviews med 24 personer, der har haft fritidsjob for mindst to år siden. De har altså kun snakket med unge, der har haft fritidsjob.

Hvis man virkelig vil vide noget om et hvilket som helst fænomen, vil man vel gerne have alle vinkler med. Så hvad med at spørge dem, der ikke har? Det kunne være, at de havde et andet syn på sagen. Når man kun spørger folk, der har haft et arbejde, bringer man sig i fare for kun at snakke med folk, der, selv inden de fik et arbejde, kunne se værdien i dette.

Som man spørger, får man svar

... er vel nærmest, hvad man kan betegne som et gammelt mundheld. En problematik vi tidligere er kommet ind på i forbindelse med diverse meningsmålinger.

Mundheldet gælder også for interviews. På side 31 i rapporten er den guide, de har brugt til deres interviews. Et lille udpluk:

”Hvad tror, du havde været anderledes i dit liv, hvis du stadig ikke havde prøvet at arbejde?”

”Oplever du, at der er forskel på de unge, der har haft job og dem, der ikke har?”

”Synes du generelt, det er godt, at unge får fritidsjob? Hvad er godt ved det?”

Det er selvfølgelig en subjektiv vurdering, hvad et ledende spørgsmål er. Men vi mener klart, at disse spørgsmål inviterer til svar, der er i overensstemmelse med undersøgelsens konklusioner. Fx er det sikkert de færreste, der vil sidde over for en interviewer, der er ved at lave en stor rapport til en forening og svare ”nej” til det sidste spørgsmål.

Exampling

En sidste kritik af deres brug af interviews er, at man ikke kan få øje på nogen systematik i, hvordan de har brugt interviewene. Man får det indtryk, at de har lavet, det man kalder ”exampling”. Det vil sige, at man udvælger citater, der underbygger, det man gerne vil vise. Uden at vise hensyn til, om noget af materialet fra interviewene viser noget andet.

For at opsummere har de altså kun spurgt dem, man kunne forvente de mest positive udsagn fra. Man har spurgt dem på en måde, der opfordrer til positive udsagn, og man kan ikke læse af rapporten, hvordan interviewmaterialet er blevet behandlet.

I går skrev vi, at deres statistiske undersøgelse ikke rigtigt kan bruges til noget. I dag kan vi tilføje, at det kan deres interviewundersøgelse heller ikke. Den virker ganske enkelt til at være lavet på en måde, hvor man ikke kan undgå at vise, det man gerne vil.

En ubrugelig undersøgelse

Nu har vi brugt to indlæg på at kritisere Foreningen Nydanskers rapport. Lad os minde om, at vi synes, at det er et ædelt formål foreningen arbejder for. Det ville også have været fint, hvis de havde prøvet at lave en undersøgelse af, om fritidsjob rent faktisk virker. Men Foreningen Nydansker har ikke lavet en undersøgelse af, om der er en sammenhæng mellem at have et fritidsjob og senere beskæftigelse. De har lavet en undersøgelse, der kun kunne finde en positiv sammenhæng. Hvis man designer sin undersøgelse, så konklusionen er skrevet på forhånd, vil både undersøgelse og konklusion være værdiløs. Det er den her.

I vores næste indlæg i serien vil vi beskæftige os med, hvorfor det ikke er lige meget, at Foreningen Nydansker leverer en rapport, der er så ringe som denne. Derefter vil vi diskutere, hvad der skal til for, at man kan tale om kausalitet – og hvordan man kunne undersøge effekten af fritidsjobs.

Fra fritidsjob til fuldtid? I

Et af de primære formål med denne blog er, at Politisk Kompas gerne vil være med til at råbe op, når der kommer tvivlsom ny ”viden” om samfundet. I de kommende dage vil vi i en række indlæg behandle en rapport fra Foreningen Nydansker, der konkluderer, at fritidsarbejde for unge har en senere positiv effekt på uddannelse og beskæftigelse. Men passer det?

Vi vil først bruge to indlæg på at vise, hvorfor vi mener, at rapporten ikke har belæg for sine konklusioner. I stedet er den, for at sige det ligeud, ubrugelig.  På trods af det er den citeret og givet tid i landsdækkende TV. I vores tredje indlæg vil vi diskutere den uheldige dynamik, der er ved denne slags rapporter med forkerte konklusioner, og hvorfor det måske havde været bedre, at rapporten aldrig havde været lavet. I vores fjerde indlæg skriver vi om, hvad der skal til, før end man kan tale om, at noget har en effekt på noget andet, og hvordan man kan undersøge effekten af fritidsarbejde.

Rapporten

Foreningen Nydansker har lavet en ny rapport, hvor de prøver at undersøge effekten af at have et fritidsarbejde som 13-18-årig på senere beskæftigelse, uddannelse og kriminalitet. Rapporten viser bl.a., at 67 pct. af de, der havde meget fritidsarbejde, har gennemført en ungdomsuddannelse mod 44 pct. af dem, der ikke har. Og kun 12 pct. af dem med meget arbejde står udenfor arbejdsmarkedet mod 28 pct. af dem uden arbejde. Foreningens direktør siger til deres hjemmeside:

”Konklusionen i undersøgelsen er helt klar; det giver afkast på den lange bane, at unge får kontakt med erhvervslivet så tidligt som muligt”.

En pointe han torsdag fik lov til at gentage i Ugebrevet A4, DR2 Morgen, TV-Avisen og andre medier.

Rapporten snakker altså om effekter. Direktøren siger, at arbejde giver afkast på den lange bane. Når man snakker om effekter, indikerer man, at der er en ting, der påvirker en anden. I det her tilfælde at fritidsarbejde påvirker senere uddannelse og beskæftigelse.

Men kan man overhovedet på baggrund af deres rapport sige noget om effekten af fritidsarbejde som 13-18-årig på senere beskæftigelse, uddannelse eller kriminalitet? Her på Politisk Kompas er vi ikke i tvivl. Svaret er nej.

Korrelation medfører ikke kausalitet

… er cirka det første, man lærer på et hvert statistikkursus (noget vi også har været inde på flere gange før, se eksempelvis her). Det vil sige, at selvom der er en sammenhæng mellem to ting, er det ikke det samme som, at den ene forårsager den anden.

Hvis man vil skelne korrelationer fra kausalforhold, er det nødvendigt, at der ikke ligger andre bagvedliggende variabler, der kan forklare sammenhængen.

Fx er en af os, Jens Olav, ret høj. Det samme er hans storebror. Der er altså en korrelation mellem deres højde, hvilket er ret almindelig for brødre. Men Jens Olav er ikke høj, fordi hans storebror er det. Det er altså ikke hans storebrors højde, der forklarer Jens Olav højde. Forklaringen er den bagvedliggende, at begge deres forældre er ret høje.

På samme måde kræver det ikke megen fantasi at komme i tanker om bagvedliggende variabler, der kan påvirke, både om en person både har et fritidsjob som ung og et fuldtidsjob som voksen. Nogle åbenlyse eksempler kunne være forældrenes ressourcer, såsom indkomst og uddannelse. Eller egne ressourcer såsom evner og motivation. Eller bare det at nogle mennesker har dårlige sociale kompetencer, der både påvirker deres sandsynlighed for at få et job som ung og voksen. Men det siger rapporten fra Foreningen Nydansker intet om.

Målet for os er ikke at komme med en fuldstændig liste af ting som kunne forklare den fundne effekt af fritidsjob. Pointen er snarere, at rapportens analyser ikke gør noget, der minder om et seriøst forsøg på at tage højde for andre faktorer. Når den ikke gøre det, kan man ikke tale om, at der er en effekt af fritidsarbejde.

Hvad ville det betyde, hvis man kontrollerede?

Politisk Kompas har desværre ikke data til selv at forsøge at tage højde for disse faktorer. Men det virker som en rimelig antagelse, at alle de ting, vi har remset op, ville have en positiv sammenhæng med både beskæftigelse i 13-18 års alderen og beskæftigelse som 23-årig. Det virker også klart, at det er ting, der ligger forud for begge dele. Det betyder, at når man, som i rapporten, ikke kontrollerer for disse ting, overdriver man den sande sammenhæng. Hvis vi kunne kontrollere for disse ting, ville sammenhængen altså blive mindre og måske forsvinde helt.

Hvor voldsom er denne overdrivelse? Det ved vi af gode grunde ikke. Men det er i hvert fald mere end tydeligt, at man ikke kan drage de konklusioner, som Foreningen Nydansker gør, på baggrund af analyserne i rapporten.

Så hvad ved vi om effekten af fritidsjob?

Hvis man ønsker at vide noget om effekten af at have fritidsjob som ung, så er rapporten, for at sige det som det er, ubrugelig. Det er egentlig trist. For vi kan godt lide hypotesen. Vi ville ønske, at sammenhængen var sand. Desværre ved vi ikke noget om sammenhængen. Vi ved ikke, om den findes. Indtil nogen finder ud af det, så husk, at den nok i hvert fald ikke er som i den nylige rapport fra Foreningen Nydansker.

Følg med i de kommende dage, hvor vi vil komme med yderligere tre indlæg om rapporten. I rapporten har de desuden interviewet 24 unge. Find ud af, hvorfor vi ikke er så begejstrede for den måde, de har gjort det på i vores næste indlæg. Derefter skriver vi om, hvordan rapporten er et eksempel på den uheldige måde data ofte bruges forkert. Og endelig skriver vi om, hvorfor effekten af fritidsjob vil være svær at afgøre, og hvordan vi synes, man kan undersøge det.