Fra fritidsjob til fuldtid? II

I går havde vi et indlæg om en ny rapport fra Foreningen Nydansker. I indlægget pegede vi på at rapporten indeholdt en lang række problematiske konklusioner om effekten af at have et fritidsjob på senere beskæftigelse og uddannelse.

Som vi skrev om i går, giver de overordnede formuleringer i rapporten og udtalelserne fra direktøren for Foreningen Nydansker, der står bag rapporten, et klart indtryk af, at rapporten har påvist et årsags-virknings forhold mellem at have et fritidsjob som ung og senere uddannelse og beskæftigelse. En kausaleffekt om man vil.

For at være fair overfor rapportens forfattere nævner de, at en korrelation ikke nødvendigvis er det samme som en kausalitet. Selvom de undlader at reflektere over hvilke faktorer, der kunne være årsager til korrelationen. (Igen kan vi henvise til gårsdagens indlæg her på bloggen.)

Til gengæld har de lavet interviews med 24 personer for yderligere at belyse, om der er tale om et kausalt forhold?

Kan vi etablere kausale forhold gennem interviews?

Kan man virkelig bruge interviews som en substitut for at kontrollere for andre faktorer, der måske skaber korrelationen? Det mener vi ikke. Kan man bruge interviews til at etablere kausalitet på den måde, som Foreningen Nydansker har gjort det? Det mener vi slet ikke.

Interviews kan måske være egnede til at afdække, hvordan kausale mekanismer fungerer. Altså hvad er de dybere forklaringer på kausale forhold (hvorfor har fritidsjob en effekt?). Men de kan aldrig bruges til at etablere en kausaleffekt. (En af de kommende dage vil vi skrive et indlæg, hvor vi diskuterer, hvad kausalitet er, og hvad der skal til for, at vi kan tale om kausalitet. Glæd jer.)

Som vi slog fast i går, kan man ikke på baggrund af foreningens rapport finde belæg for, at fritidsjob har en kausaleffekt. De mangler simpelthen at tage højde for, at andre faktorer kunne påvirke både sandsynligheden for at få et fritidsjob, og sandsynligheden for at få en uddannelse eller et job senere i livet.   Selvom de lavede interviews herfra og til årets udløb, ville de ikke kunne komme omkring det faktum.

Man får svar fra dem, man spørger

Interviews kan imidlertid være et fint supplement til metoder, der kan etablere kausalitet.

Desværre er rapportens brug af interviews også kritisabel. Det fremgår, at Foreningen Nydansker har gennemført interviews med 24 personer, der har haft fritidsjob for mindst to år siden. De har altså kun snakket med unge, der har haft fritidsjob.

Hvis man virkelig vil vide noget om et hvilket som helst fænomen, vil man vel gerne have alle vinkler med. Så hvad med at spørge dem, der ikke har? Det kunne være, at de havde et andet syn på sagen. Når man kun spørger folk, der har haft et arbejde, bringer man sig i fare for kun at snakke med folk, der, selv inden de fik et arbejde, kunne se værdien i dette.

Som man spørger, får man svar

... er vel nærmest, hvad man kan betegne som et gammelt mundheld. En problematik vi tidligere er kommet ind på i forbindelse med diverse meningsmålinger.

Mundheldet gælder også for interviews. På side 31 i rapporten er den guide, de har brugt til deres interviews. Et lille udpluk:

”Hvad tror, du havde været anderledes i dit liv, hvis du stadig ikke havde prøvet at arbejde?”

”Oplever du, at der er forskel på de unge, der har haft job og dem, der ikke har?”

”Synes du generelt, det er godt, at unge får fritidsjob? Hvad er godt ved det?”

Det er selvfølgelig en subjektiv vurdering, hvad et ledende spørgsmål er. Men vi mener klart, at disse spørgsmål inviterer til svar, der er i overensstemmelse med undersøgelsens konklusioner. Fx er det sikkert de færreste, der vil sidde over for en interviewer, der er ved at lave en stor rapport til en forening og svare ”nej” til det sidste spørgsmål.

Exampling

En sidste kritik af deres brug af interviews er, at man ikke kan få øje på nogen systematik i, hvordan de har brugt interviewene. Man får det indtryk, at de har lavet, det man kalder ”exampling”. Det vil sige, at man udvælger citater, der underbygger, det man gerne vil vise. Uden at vise hensyn til, om noget af materialet fra interviewene viser noget andet.

For at opsummere har de altså kun spurgt dem, man kunne forvente de mest positive udsagn fra. Man har spurgt dem på en måde, der opfordrer til positive udsagn, og man kan ikke læse af rapporten, hvordan interviewmaterialet er blevet behandlet.

I går skrev vi, at deres statistiske undersøgelse ikke rigtigt kan bruges til noget. I dag kan vi tilføje, at det kan deres interviewundersøgelse heller ikke. Den virker ganske enkelt til at være lavet på en måde, hvor man ikke kan undgå at vise, det man gerne vil.

En ubrugelig undersøgelse

Nu har vi brugt to indlæg på at kritisere Foreningen Nydanskers rapport. Lad os minde om, at vi synes, at det er et ædelt formål foreningen arbejder for. Det ville også have været fint, hvis de havde prøvet at lave en undersøgelse af, om fritidsjob rent faktisk virker. Men Foreningen Nydansker har ikke lavet en undersøgelse af, om der er en sammenhæng mellem at have et fritidsjob og senere beskæftigelse. De har lavet en undersøgelse, der kun kunne finde en positiv sammenhæng. Hvis man designer sin undersøgelse, så konklusionen er skrevet på forhånd, vil både undersøgelse og konklusion være værdiløs. Det er den her.

I vores næste indlæg i serien vil vi beskæftige os med, hvorfor det ikke er lige meget, at Foreningen Nydansker leverer en rapport, der er så ringe som denne. Derefter vil vi diskutere, hvad der skal til for, at man kan tale om kausalitet – og hvordan man kunne undersøge effekten af fritidsjobs.