Fra fritidsjob til fuldtidsjob IV

I den seneste uges tid har vi diskuteret konklusionerne i og implikationerne af en rapport fra Foreningen Nydansker.

I rapporten mente de at kunne dokumentere en effekt af fritidsjob på beskæftigelse og uddannelse. Som vi har redegjort for, var der imidlertid ikke grundlag for at drage de konklusioner på baggrund af deres rapport.

I dag skriver vi det foreløbigt sidste kapitel i vores føljeton om fritidsjob og fuldtidsjob. Det skal handle om, hvad Foreningen Nydansker kunne have gjort, hvis de rent faktisk ville etablere de kausale effekter af at få et fritidsjob.

Hvornår kan vi tale om kausalitet?

Før end vi kan komme med vores bud på, hvordan foreningen Nydansker kunne have etableret et kausalt forhold mellem fritidsjob og senere beskæftigelse og uddannelse, er det nødvendigt at forstå, hvad kausalitet egentlig er for en størrelse.

Lad os tage udgangspunkt i et eksempel: fritidsjob og lønindkomst som 25-årig. En populær måde at forstå kausalitet på er, at den kausale effekt af fritidsjob på senere lønindkomst er lig forskellen mellem den lønindkomst, man vil få som 25-årig, hvis man havde et fritidsjob som teenager, og den lønindkomst man vil få, hvis man ikke havde et fritidsjob.

En af os, Martin, fik eksempelvis et fritidsjob som mandelbrænder, da han var 15 år. Hvis vi mener, at der en kausaleffekt af fritidsjob, så betyder det altså, at hvis Martins ansøgning var gået tabt med posten, og han ikke havde fået jobbet som mandelbrænder, så ville Martin tjene mindre som 25-årig.

Man siger, at kausaleffekten er lig forskellen på den kontrafaktiske og den faktiske situation. Og her har vi balladen. For det er umuligt at observere den kontrafaktiske situation. Brevet gik jo ikke tabt med posten, og det er derfor umuligt at finde ud af, hvad Martin havde tjent, hvis han ikke havde fået sit fritidsjob.

Dette fundamentale kausalitetsproblem er man nødt til at finde en løsning på, hvis man vil udtale sig om kausalitet. Og der er heldigvis løsninger. Nogle bedre end andre.

Foreningen Nydansker vælger (implicit) en dårlig løsning på det fundamentale kausalitetsproblem. De sammenligner bare de, der rent faktisk fik et fritidsjob med dem, der ikke fik et fritidsjob. De antager således, at den kontrafaktiske situation kan observeres ved at sammenligne én person med fritidsjob og én person uden fritidsjob. En meget problematisk antagelse. Som vi var inde på i vores første indlæg, så er det sandsynligt, at der er en grund til at nogle unge får et fritidsjob, og andre unge ikke gør det. Forældres ressourcer, egen intelligens og sociale kompetence. Grunde der meget vel kan påvirke ens løn senere i livet.

En alternativ løsning

Hvordan kunne Foreningen Nydansker så have løst det fundamentale kausalitetsproblem? Kunne de have fundet en bedre måde at observere den kontrafaktiske situation end en simpel sammenligning? Ja, det kunne de.

De kunne have bedt en af deres mange samarbejdspartnere (der bl.a. tæller McDonalds) om at give dem ansvaret for rekrutteringen til en række fritidsjob. I en ideel (og tænkt situation) kunne de derefter udvælge et lille repræsentativt udsnit af unge mennesker, tilfældigt tildele dem disse fritidsjob, og så se hvilken effekt det måtte have på deres løn og uddannelse senere i livet.

En mere realistisk tilgang kunne være at finde unge mennesker, der gerne vil have hjælp til at finde et fritidsjob. I blandt dem kunne man trække lod om, hvem man vil hjælpe med at finde et arbejde. Når Københavns Kommune vil finde 600 fritidsjob kunne de også sikre, at der er flere egnede kandidater til jobbene end nødvendigt. Igen kunne man tilfældigt fordele jobs blandt de egnede kandidater.

Hvorfor er det bedre? Jo, ved i alle tre modeller at udvælge de der får et fritidsjob fuldstændig tilfældigt, sikrer man, at sandsynligheden for systematiske forskelle på de to grupper bliver minimal. Tilfældigheden gør, at vi kan forvente, at der er ligeså mange unge med ressourcesvage forældre, som unge ressourcestærke forældre, der får et fritidsjob. At de unge der får et fritidsjob har samme sociale kompetence, som de der ikke får et fritidsjob

De to grupper danner grundlaget for den perfekte kontrafaktiske situation. De er kun systematisk forskellige på et punkt: fritidsjobbet.

Hvorfor skal det være så besværligt?

Vores alternativt er væsentlig mere besværligt, end det som Foreningen Nydansker har gjort.  De har jo relativt nemt kunne finde det nødvendige registerdata og derefter nogle succeshistorier, de kunne interviewe.

Men det er besværligt at etablere kausalitet. Det kan ikke gøres uden, at man tænker sig godt om – identificerer den relevante kontrafaktiske situation, og så søger en måde at identificere den på.

Det er en udbredt misforståelse, at bare fordi vi har fået lettere adgang til data, så er det blevet lettere at sige noget om, hvordan den sociale verden er skruet sammen. En anden udbredt misforståelse er, at mere data er bedre data. I Foreningen Nydanskers rapport er flere end 70.000 personer inkluderet.

Det let tilgængelige data ser muligvis ufarligt ud, og bøjer sig umiddelbart efter ens vilje, ligesom  meget data ser imponerende ud. Men store, lettilgængelige datamængder svarer kun på de spørgsmål, man stiller det. Og ingen mængde af data kan reparere en utilstrækkeligt designet undersøgelse.

Hvis man ikke bruger data på en forsigtig måde, hvis man ikke forsøger at sortere støjet fra signalet, så ender man med at komme med uvederhæftige konklusioner, der leder samfundet på gale veje.

Er der noget vundet ved at gøre sig umage?

Det mener vi. Foreningen Nydansker er interesseret i at hjælpe nogle unge mennesker. Nogle finansierer foreningen, fordi de er interesserede i at hjælpe nogle unge mennesker. Og de unge mennesker er interesserede i at blive hjulpet.

Dybest set svigter Foreningen Nydansker alle, inklusiv foreningen selv, med deres rapport. Tænk, hvis deres arbejde ikke virker. Ville deres finansieringskilder ikke være bedre tjent med, at Foreningen ændrede deres strategi? De unge mennesker ville i hvert fald. Og det er vores indtryk, at foreningen følger sit virke med gode intentioner. At de er en forening af ildsjæle, der brænder for at gøre en forskel for deres målgruppe. Ville det ikke også være i deres egen interesse at finde ud af, om de bruger deres energi på noget, der nytter?

Fra fritidsjob til fuldtidsjob III

Tidligere på ugen kritiserede vi i to forskellige indlæg (her og her) Foreningen Nydanskers rapport om effekterne af at have et fritidsjob. Hvis man har læst begge indlæg, tænker man måske: hvorfor skal vi gå så meget op i, hvad Foreningen Nydansker går og laver?

For os har der været to primære årsager til at udfordre rapportens konklusioner. For det første kan der være nogen, der bruger rapporten til at fremme en sag eller en politik. For det andet er den et godt eksempel på, hvordan medierne er alt for ukritiske i deres omgang med denne slags rapporter. Medierne formåede her ikke at være tilpas kritiske og videreformidlede, hvad man kan kalde "falsk viden". Og på den måde ender de med til at gøre os en lille smule dummere som samfund.

Alligevel vil nogen sikkert stadig tænke: Ja ja, de har lavet en dårlig rapport, som er kommet lidt i medierne. Men det er alligevel glemt om en uge. Eller er det?

Er rapporten glemt i morgen?

Vi håber det. Vi håber, at deres rapport vil være glemt. At de fik lidt taletid for deres sag, men at det aldrig rigtigt vil blive til mere end det. Men det er svært at vide sig sikker. De kom ud til et bredt udsnit af befolkningen. Og læser man Ugebrevet A4's artikel om rapporten, vil man se, at i hvert fald Københavns Kommune bruger rapportens konklusioner til at begrunde et politisk tiltag.

Københavns Kommune vil afsætte midler til at skabe 600 fritidsjobs. På trods af at man på ingen måde kan udlede af foreningens rapport, at det vil gavne det fjerneste. Man bruger altså tid og ressourcer, herunder skattepenge, på noget, der måske ikke har nogen effekt. Og begrunder det med rapportens resultater.

Tænk, hvis det er omvendt?

Der kan være mange grunde til at tro, at fritidsarbejde har en gavnlig effekt. Nogle af disse nævnes i A4's artikel. Man kan fx danne et netværk, og man lærer at møde til tiden og spillereglerne på arbejdsmarkedet. Og der kan være flere ting. Men vi kan ikke være sikre.

Og det er plausibelt, at det forholder sig anderledes for dem, der ikke arbejder. At deres tid er bedre brugt i lektiecaféer eller ved at dyrke en fritidsaktivitet. Det er ikke kun ved at gå med aviser eller vende burgere på McDonald's, at man kan få sig et netværk eller lære værdier som selvdisciplin.

Her når vi også indtil det menneskelige problem bag de grundløse konklusioner. Ude i virkeligheden vil unge som voksne bruge den viden, som de bliver præsenteret for. Forældre vil måske høre om undersøgelsen og blive nervøse for, om deres søn eller datter egentlig burde stå i 7-11 søndag eftermiddag i stedet for at hænge ud i lektiecaféen. Selvom vedkommende måske klarer sig udmærket i skolen og har en lys fremtid forud.

Nyhedsværdien

TV-Avisen klokken 18.30 havde i snit 381.000 seere i sidste uge. Læg dertil seere af DR2 Morgen, og folk der enten har læst om undersøgelsen i et af de skrevne medier, herunder Ugebrevet A4, eller har hørt om den i radioen, hvor flere kanaler også tog den op. Undersøgelsen er nået bredt ud. Selvom vi holder det tæt ind til kroppen, hvor mange der læser Politisk Kompas, kan vi godt afsløre, at undersøgelsen er kommet mere end en smule bredere ud end vores blogindlæg.

Vi har skrevet til DR og Ugebrevet A4. Vi opfordrede dem til at fjerne eller berigtige deres indslag. Vi regnede ikke med, at det ville ske. Og indtil videre har vi fået ret. En historie om, at fritidsjob gavner i fremtiden, er en god historie. Den er nem at tro på. For de fleste er det formentlig også noget, man gerne vil tro på. En historie om, at den oprindelige historie ikke passede… Den er knap så interessant.

For det første er det, indrømmet, en mere teknisk historie. Vi prøver at gøre vores argumenter let tilgængelige. Men for mange er det bare svært at forstå forskellen på sammenhæng og effekt. For det andet indebærer det, at man som medie frivilligt skal indrømme, at man har taget fejl. At man er faldet for en rapport, der ville dumpe, hvis det havde været en studenteropgave på Statskundskab, hvor vi underviser.

Men er det okay? Er det okay, at man som medie ukritisk formidler en undersøgelses resultater. Har man ikke pligt til at fortælle, når man har taget fejl? Foreningen Nydansker har fået lov til at komme ud med deres dybest set ubegrundede konklusioner, men hvor er dementiet? Der er ikke nogen, der tager ansvar for at fortælle de mennesker, der har set resultaterne, at de ikke kan tro på dem alligevel. Vi mener ikke, at det er okay.

Medierne bør tage deres folkeoplysende rolle mere seriøst. Foreningen Nydansker har lavet en rapport, som de slugte råt. Vi synes, det havde været bedre, hvis den aldrig havde været lavet. For vi er ikke blevet klogere af den. Tværtimod.

Her slutter kritikken af rapporten og dens implikationer for denne gang. I vores næste indlæg vil vi blive konstruktive og foreslå, hvordan Københavns Kommune kunne undersøge, om deres 600 fritidsjob gør en positiv forskel. To hints: De behøver ikke at lave kvalitative interviews, og det bliver ikke helt ligetil. 

Fra fritidsjob til fuldtid? II

I går havde vi et indlæg om en ny rapport fra Foreningen Nydansker. I indlægget pegede vi på at rapporten indeholdt en lang række problematiske konklusioner om effekten af at have et fritidsjob på senere beskæftigelse og uddannelse.

Som vi skrev om i går, giver de overordnede formuleringer i rapporten og udtalelserne fra direktøren for Foreningen Nydansker, der står bag rapporten, et klart indtryk af, at rapporten har påvist et årsags-virknings forhold mellem at have et fritidsjob som ung og senere uddannelse og beskæftigelse. En kausaleffekt om man vil.

For at være fair overfor rapportens forfattere nævner de, at en korrelation ikke nødvendigvis er det samme som en kausalitet. Selvom de undlader at reflektere over hvilke faktorer, der kunne være årsager til korrelationen. (Igen kan vi henvise til gårsdagens indlæg her på bloggen.)

Til gengæld har de lavet interviews med 24 personer for yderligere at belyse, om der er tale om et kausalt forhold?

Kan vi etablere kausale forhold gennem interviews?

Kan man virkelig bruge interviews som en substitut for at kontrollere for andre faktorer, der måske skaber korrelationen? Det mener vi ikke. Kan man bruge interviews til at etablere kausalitet på den måde, som Foreningen Nydansker har gjort det? Det mener vi slet ikke.

Interviews kan måske være egnede til at afdække, hvordan kausale mekanismer fungerer. Altså hvad er de dybere forklaringer på kausale forhold (hvorfor har fritidsjob en effekt?). Men de kan aldrig bruges til at etablere en kausaleffekt. (En af de kommende dage vil vi skrive et indlæg, hvor vi diskuterer, hvad kausalitet er, og hvad der skal til for, at vi kan tale om kausalitet. Glæd jer.)

Som vi slog fast i går, kan man ikke på baggrund af foreningens rapport finde belæg for, at fritidsjob har en kausaleffekt. De mangler simpelthen at tage højde for, at andre faktorer kunne påvirke både sandsynligheden for at få et fritidsjob, og sandsynligheden for at få en uddannelse eller et job senere i livet.   Selvom de lavede interviews herfra og til årets udløb, ville de ikke kunne komme omkring det faktum.

Man får svar fra dem, man spørger

Interviews kan imidlertid være et fint supplement til metoder, der kan etablere kausalitet.

Desværre er rapportens brug af interviews også kritisabel. Det fremgår, at Foreningen Nydansker har gennemført interviews med 24 personer, der har haft fritidsjob for mindst to år siden. De har altså kun snakket med unge, der har haft fritidsjob.

Hvis man virkelig vil vide noget om et hvilket som helst fænomen, vil man vel gerne have alle vinkler med. Så hvad med at spørge dem, der ikke har? Det kunne være, at de havde et andet syn på sagen. Når man kun spørger folk, der har haft et arbejde, bringer man sig i fare for kun at snakke med folk, der, selv inden de fik et arbejde, kunne se værdien i dette.

Som man spørger, får man svar

... er vel nærmest, hvad man kan betegne som et gammelt mundheld. En problematik vi tidligere er kommet ind på i forbindelse med diverse meningsmålinger.

Mundheldet gælder også for interviews. På side 31 i rapporten er den guide, de har brugt til deres interviews. Et lille udpluk:

”Hvad tror, du havde været anderledes i dit liv, hvis du stadig ikke havde prøvet at arbejde?”

”Oplever du, at der er forskel på de unge, der har haft job og dem, der ikke har?”

”Synes du generelt, det er godt, at unge får fritidsjob? Hvad er godt ved det?”

Det er selvfølgelig en subjektiv vurdering, hvad et ledende spørgsmål er. Men vi mener klart, at disse spørgsmål inviterer til svar, der er i overensstemmelse med undersøgelsens konklusioner. Fx er det sikkert de færreste, der vil sidde over for en interviewer, der er ved at lave en stor rapport til en forening og svare ”nej” til det sidste spørgsmål.

Exampling

En sidste kritik af deres brug af interviews er, at man ikke kan få øje på nogen systematik i, hvordan de har brugt interviewene. Man får det indtryk, at de har lavet, det man kalder ”exampling”. Det vil sige, at man udvælger citater, der underbygger, det man gerne vil vise. Uden at vise hensyn til, om noget af materialet fra interviewene viser noget andet.

For at opsummere har de altså kun spurgt dem, man kunne forvente de mest positive udsagn fra. Man har spurgt dem på en måde, der opfordrer til positive udsagn, og man kan ikke læse af rapporten, hvordan interviewmaterialet er blevet behandlet.

I går skrev vi, at deres statistiske undersøgelse ikke rigtigt kan bruges til noget. I dag kan vi tilføje, at det kan deres interviewundersøgelse heller ikke. Den virker ganske enkelt til at være lavet på en måde, hvor man ikke kan undgå at vise, det man gerne vil.

En ubrugelig undersøgelse

Nu har vi brugt to indlæg på at kritisere Foreningen Nydanskers rapport. Lad os minde om, at vi synes, at det er et ædelt formål foreningen arbejder for. Det ville også have været fint, hvis de havde prøvet at lave en undersøgelse af, om fritidsjob rent faktisk virker. Men Foreningen Nydansker har ikke lavet en undersøgelse af, om der er en sammenhæng mellem at have et fritidsjob og senere beskæftigelse. De har lavet en undersøgelse, der kun kunne finde en positiv sammenhæng. Hvis man designer sin undersøgelse, så konklusionen er skrevet på forhånd, vil både undersøgelse og konklusion være værdiløs. Det er den her.

I vores næste indlæg i serien vil vi beskæftige os med, hvorfor det ikke er lige meget, at Foreningen Nydansker leverer en rapport, der er så ringe som denne. Derefter vil vi diskutere, hvad der skal til for, at man kan tale om kausalitet – og hvordan man kunne undersøge effekten af fritidsjobs.

Fra fritidsjob til fuldtid? I

Et af de primære formål med denne blog er, at Politisk Kompas gerne vil være med til at råbe op, når der kommer tvivlsom ny ”viden” om samfundet. I de kommende dage vil vi i en række indlæg behandle en rapport fra Foreningen Nydansker, der konkluderer, at fritidsarbejde for unge har en senere positiv effekt på uddannelse og beskæftigelse. Men passer det?

Vi vil først bruge to indlæg på at vise, hvorfor vi mener, at rapporten ikke har belæg for sine konklusioner. I stedet er den, for at sige det ligeud, ubrugelig.  På trods af det er den citeret og givet tid i landsdækkende TV. I vores tredje indlæg vil vi diskutere den uheldige dynamik, der er ved denne slags rapporter med forkerte konklusioner, og hvorfor det måske havde været bedre, at rapporten aldrig havde været lavet. I vores fjerde indlæg skriver vi om, hvad der skal til, før end man kan tale om, at noget har en effekt på noget andet, og hvordan man kan undersøge effekten af fritidsarbejde.

Rapporten

Foreningen Nydansker har lavet en ny rapport, hvor de prøver at undersøge effekten af at have et fritidsarbejde som 13-18-årig på senere beskæftigelse, uddannelse og kriminalitet. Rapporten viser bl.a., at 67 pct. af de, der havde meget fritidsarbejde, har gennemført en ungdomsuddannelse mod 44 pct. af dem, der ikke har. Og kun 12 pct. af dem med meget arbejde står udenfor arbejdsmarkedet mod 28 pct. af dem uden arbejde. Foreningens direktør siger til deres hjemmeside:

”Konklusionen i undersøgelsen er helt klar; det giver afkast på den lange bane, at unge får kontakt med erhvervslivet så tidligt som muligt”.

En pointe han torsdag fik lov til at gentage i Ugebrevet A4, DR2 Morgen, TV-Avisen og andre medier.

Rapporten snakker altså om effekter. Direktøren siger, at arbejde giver afkast på den lange bane. Når man snakker om effekter, indikerer man, at der er en ting, der påvirker en anden. I det her tilfælde at fritidsarbejde påvirker senere uddannelse og beskæftigelse.

Men kan man overhovedet på baggrund af deres rapport sige noget om effekten af fritidsarbejde som 13-18-årig på senere beskæftigelse, uddannelse eller kriminalitet? Her på Politisk Kompas er vi ikke i tvivl. Svaret er nej.

Korrelation medfører ikke kausalitet

… er cirka det første, man lærer på et hvert statistikkursus (noget vi også har været inde på flere gange før, se eksempelvis her). Det vil sige, at selvom der er en sammenhæng mellem to ting, er det ikke det samme som, at den ene forårsager den anden.

Hvis man vil skelne korrelationer fra kausalforhold, er det nødvendigt, at der ikke ligger andre bagvedliggende variabler, der kan forklare sammenhængen.

Fx er en af os, Jens Olav, ret høj. Det samme er hans storebror. Der er altså en korrelation mellem deres højde, hvilket er ret almindelig for brødre. Men Jens Olav er ikke høj, fordi hans storebror er det. Det er altså ikke hans storebrors højde, der forklarer Jens Olav højde. Forklaringen er den bagvedliggende, at begge deres forældre er ret høje.

På samme måde kræver det ikke megen fantasi at komme i tanker om bagvedliggende variabler, der kan påvirke, både om en person både har et fritidsjob som ung og et fuldtidsjob som voksen. Nogle åbenlyse eksempler kunne være forældrenes ressourcer, såsom indkomst og uddannelse. Eller egne ressourcer såsom evner og motivation. Eller bare det at nogle mennesker har dårlige sociale kompetencer, der både påvirker deres sandsynlighed for at få et job som ung og voksen. Men det siger rapporten fra Foreningen Nydansker intet om.

Målet for os er ikke at komme med en fuldstændig liste af ting som kunne forklare den fundne effekt af fritidsjob. Pointen er snarere, at rapportens analyser ikke gør noget, der minder om et seriøst forsøg på at tage højde for andre faktorer. Når den ikke gøre det, kan man ikke tale om, at der er en effekt af fritidsarbejde.

Hvad ville det betyde, hvis man kontrollerede?

Politisk Kompas har desværre ikke data til selv at forsøge at tage højde for disse faktorer. Men det virker som en rimelig antagelse, at alle de ting, vi har remset op, ville have en positiv sammenhæng med både beskæftigelse i 13-18 års alderen og beskæftigelse som 23-årig. Det virker også klart, at det er ting, der ligger forud for begge dele. Det betyder, at når man, som i rapporten, ikke kontrollerer for disse ting, overdriver man den sande sammenhæng. Hvis vi kunne kontrollere for disse ting, ville sammenhængen altså blive mindre og måske forsvinde helt.

Hvor voldsom er denne overdrivelse? Det ved vi af gode grunde ikke. Men det er i hvert fald mere end tydeligt, at man ikke kan drage de konklusioner, som Foreningen Nydansker gør, på baggrund af analyserne i rapporten.

Så hvad ved vi om effekten af fritidsjob?

Hvis man ønsker at vide noget om effekten af at have fritidsjob som ung, så er rapporten, for at sige det som det er, ubrugelig. Det er egentlig trist. For vi kan godt lide hypotesen. Vi ville ønske, at sammenhængen var sand. Desværre ved vi ikke noget om sammenhængen. Vi ved ikke, om den findes. Indtil nogen finder ud af det, så husk, at den nok i hvert fald ikke er som i den nylige rapport fra Foreningen Nydansker.

Følg med i de kommende dage, hvor vi vil komme med yderligere tre indlæg om rapporten. I rapporten har de desuden interviewet 24 unge. Find ud af, hvorfor vi ikke er så begejstrede for den måde, de har gjort det på i vores næste indlæg. Derefter skriver vi om, hvordan rapporten er et eksempel på den uheldige måde data ofte bruges forkert. Og endelig skriver vi om, hvorfor effekten af fritidsjob vil være svær at afgøre, og hvordan vi synes, man kan undersøge det.