Fra fritidsjob til fuldtidsjob IV

I den seneste uges tid har vi diskuteret konklusionerne i og implikationerne af en rapport fra Foreningen Nydansker.

I rapporten mente de at kunne dokumentere en effekt af fritidsjob på beskæftigelse og uddannelse. Som vi har redegjort for, var der imidlertid ikke grundlag for at drage de konklusioner på baggrund af deres rapport.

I dag skriver vi det foreløbigt sidste kapitel i vores føljeton om fritidsjob og fuldtidsjob. Det skal handle om, hvad Foreningen Nydansker kunne have gjort, hvis de rent faktisk ville etablere de kausale effekter af at få et fritidsjob.

Hvornår kan vi tale om kausalitet?

Før end vi kan komme med vores bud på, hvordan foreningen Nydansker kunne have etableret et kausalt forhold mellem fritidsjob og senere beskæftigelse og uddannelse, er det nødvendigt at forstå, hvad kausalitet egentlig er for en størrelse.

Lad os tage udgangspunkt i et eksempel: fritidsjob og lønindkomst som 25-årig. En populær måde at forstå kausalitet på er, at den kausale effekt af fritidsjob på senere lønindkomst er lig forskellen mellem den lønindkomst, man vil få som 25-årig, hvis man havde et fritidsjob som teenager, og den lønindkomst man vil få, hvis man ikke havde et fritidsjob.

En af os, Martin, fik eksempelvis et fritidsjob som mandelbrænder, da han var 15 år. Hvis vi mener, at der en kausaleffekt af fritidsjob, så betyder det altså, at hvis Martins ansøgning var gået tabt med posten, og han ikke havde fået jobbet som mandelbrænder, så ville Martin tjene mindre som 25-årig.

Man siger, at kausaleffekten er lig forskellen på den kontrafaktiske og den faktiske situation. Og her har vi balladen. For det er umuligt at observere den kontrafaktiske situation. Brevet gik jo ikke tabt med posten, og det er derfor umuligt at finde ud af, hvad Martin havde tjent, hvis han ikke havde fået sit fritidsjob.

Dette fundamentale kausalitetsproblem er man nødt til at finde en løsning på, hvis man vil udtale sig om kausalitet. Og der er heldigvis løsninger. Nogle bedre end andre.

Foreningen Nydansker vælger (implicit) en dårlig løsning på det fundamentale kausalitetsproblem. De sammenligner bare de, der rent faktisk fik et fritidsjob med dem, der ikke fik et fritidsjob. De antager således, at den kontrafaktiske situation kan observeres ved at sammenligne én person med fritidsjob og én person uden fritidsjob. En meget problematisk antagelse. Som vi var inde på i vores første indlæg, så er det sandsynligt, at der er en grund til at nogle unge får et fritidsjob, og andre unge ikke gør det. Forældres ressourcer, egen intelligens og sociale kompetence. Grunde der meget vel kan påvirke ens løn senere i livet.

En alternativ løsning

Hvordan kunne Foreningen Nydansker så have løst det fundamentale kausalitetsproblem? Kunne de have fundet en bedre måde at observere den kontrafaktiske situation end en simpel sammenligning? Ja, det kunne de.

De kunne have bedt en af deres mange samarbejdspartnere (der bl.a. tæller McDonalds) om at give dem ansvaret for rekrutteringen til en række fritidsjob. I en ideel (og tænkt situation) kunne de derefter udvælge et lille repræsentativt udsnit af unge mennesker, tilfældigt tildele dem disse fritidsjob, og så se hvilken effekt det måtte have på deres løn og uddannelse senere i livet.

En mere realistisk tilgang kunne være at finde unge mennesker, der gerne vil have hjælp til at finde et fritidsjob. I blandt dem kunne man trække lod om, hvem man vil hjælpe med at finde et arbejde. Når Københavns Kommune vil finde 600 fritidsjob kunne de også sikre, at der er flere egnede kandidater til jobbene end nødvendigt. Igen kunne man tilfældigt fordele jobs blandt de egnede kandidater.

Hvorfor er det bedre? Jo, ved i alle tre modeller at udvælge de der får et fritidsjob fuldstændig tilfældigt, sikrer man, at sandsynligheden for systematiske forskelle på de to grupper bliver minimal. Tilfældigheden gør, at vi kan forvente, at der er ligeså mange unge med ressourcesvage forældre, som unge ressourcestærke forældre, der får et fritidsjob. At de unge der får et fritidsjob har samme sociale kompetence, som de der ikke får et fritidsjob

De to grupper danner grundlaget for den perfekte kontrafaktiske situation. De er kun systematisk forskellige på et punkt: fritidsjobbet.

Hvorfor skal det være så besværligt?

Vores alternativt er væsentlig mere besværligt, end det som Foreningen Nydansker har gjort.  De har jo relativt nemt kunne finde det nødvendige registerdata og derefter nogle succeshistorier, de kunne interviewe.

Men det er besværligt at etablere kausalitet. Det kan ikke gøres uden, at man tænker sig godt om – identificerer den relevante kontrafaktiske situation, og så søger en måde at identificere den på.

Det er en udbredt misforståelse, at bare fordi vi har fået lettere adgang til data, så er det blevet lettere at sige noget om, hvordan den sociale verden er skruet sammen. En anden udbredt misforståelse er, at mere data er bedre data. I Foreningen Nydanskers rapport er flere end 70.000 personer inkluderet.

Det let tilgængelige data ser muligvis ufarligt ud, og bøjer sig umiddelbart efter ens vilje, ligesom  meget data ser imponerende ud. Men store, lettilgængelige datamængder svarer kun på de spørgsmål, man stiller det. Og ingen mængde af data kan reparere en utilstrækkeligt designet undersøgelse.

Hvis man ikke bruger data på en forsigtig måde, hvis man ikke forsøger at sortere støjet fra signalet, så ender man med at komme med uvederhæftige konklusioner, der leder samfundet på gale veje.

Er der noget vundet ved at gøre sig umage?

Det mener vi. Foreningen Nydansker er interesseret i at hjælpe nogle unge mennesker. Nogle finansierer foreningen, fordi de er interesserede i at hjælpe nogle unge mennesker. Og de unge mennesker er interesserede i at blive hjulpet.

Dybest set svigter Foreningen Nydansker alle, inklusiv foreningen selv, med deres rapport. Tænk, hvis deres arbejde ikke virker. Ville deres finansieringskilder ikke være bedre tjent med, at Foreningen ændrede deres strategi? De unge mennesker ville i hvert fald. Og det er vores indtryk, at foreningen følger sit virke med gode intentioner. At de er en forening af ildsjæle, der brænder for at gøre en forskel for deres målgruppe. Ville det ikke også være i deres egen interesse at finde ud af, om de bruger deres energi på noget, der nytter?