Når overdrivelse ikke fremmer forståelsen

Overdrivelse fremmer forståelsen. Det siger man i hvert fald. Og det er øjensynligt et retorisk trick som politikere og samfundsdebattører bruger tit.

I sit program ”Asger og De Langtidsledige” siger Asger Aamund eksempelvis gentagene gange at der er 800.000 danskere, der står uden for arbejdsmarkedet. Noget som Detektor viste, var noget af en overdrivelse.

 

Men betyder det overhovedet noget? Vi ved jo godt, som seere, at det politikere og kommentatorer siger ikke altid passer – og så kan det jo ikke påvirke os. Eller kan det?

 

Alle har brug for et anker

En række studier inden for kognitiv psykologi viser imidlertid, at sådanne overdrivelser – selvom man ikke tror på det – kan påvirke ens opfattelse af, hvordan virkeligheden er skruet sammen.

I et meget kendt eksperiment præsenterede Mussweiler og Strack en gruppe af universitetsstuderende for et af to urealistiske udsagn. Halvdelen fik af vide at Mahatma Gandhi blev 140 år gammel, og halvdelen fik af vide at Mahatma Gandhi blev 9 år gammel. De kunne derefter angive, hvorvidt de mente, dette bud var fornuftigt, samt give deres eget bud.

Alle som ved hvem, hvem Gandhi er, vil vide at begge dele er fuldstændig urealistisk. De studerende kategoriserede også udsagnene som helt ude i skoven. Alligevel blev de påvirket af udsagnet, da de skulle give deres eget bud. De, der havde fået at vide, at Gandhi blev 140 år gættede gennemsnitligt på, han var 17 år ældre, end de, der havde fået at vide, at han blev 9 år gammel.

Selvom de studerende ikke troede på udsagnene, blev de altså påvirket af dem.

Psykologerne forklarer i deres undersøgelser, at effekten skyldes den måde, vores hjerne fungerer på. Når hjernen skal producere en selvstændig holdning eller en vurdering, så bruges det urealistiske udsagn som  et slags anker. Et udgangspunkt for ens søgen efter en realistisk værdi.

Betyder det noget i politik?

Men er det virkeligt det samme i politik. De fleste er jo mere interesserede i arbejdsløshed og kriminalitet end Gandhis alder. Derfor kunne man også godt forestille sig, at overdrivelse ikke har samme undergravende effekt på vores vurderinger, når det kommer til mere samfundsrelevante faktorer.

For at undersøge dette udsatte vi 205 statskundskabsstuderende på Københavns Universitet for et lignende eksperiment.

 

De studerende blev præsenteret for et af to urealistiske udsagn om antallet af arbejdsløse. Halvdelen fik at vide, at kun 2 pct. af danskerne er arbejdsløse. Den anden halvdel fik at vide, at arbejdsløsheden er på 20 pct. Efterfølgende skulle de studerende vurdere, hvorvidt de mente udsagnet passede (det gjorde kun en enkelt) og komme med deres eget bud. Resultatet kan ses i nedenstående figur.

Som man kan se af figuren, vurderede de, der blev præsenteret for en arbejdsløshedsprocent på 20 procent, at den faktiske arbejdsløshed var omtrent et halvt procentpoint højere, end de der blev udsat for en arbejdsløshedsprocent på 2 pct.

Selv i en meget politisk interesseret gruppe (statskundskabsstuderende) og med et centralt emne (arbejdsløshed) kunne en fuldstændig urealistisk overdrivelse altså påvirke folks vurderinger.

Dette viser – om noget – hvorfor det er vigtigt, at politikere (og medier) skal holdes i ørerne, når de kommer med vilde udsagn. Selvom vi måske godt ved, at politikere og medier overdriver, så bliver de qua deres store eksponering en naturlig referenceramme for hvordan vi opfatter vores samfund.  

Hvornår koster politiske skandaler?

Hvis man følger bare en smule med i politik herhjemme, er det næppe gået en forbi, at Lars Løkke Rasmussen har lidt problemer med nogle dyre rejser. I den forbindelse har Videnskab.dk interviewet professor Kasper Møller Hansen (ph.d.-vejleder for os begge to) om en ny videnskabelig artikel, som han netop har udgivet sammen med to af vores andre kollegaer (den findes her). I artiklen har de med et sæt eksperimenter, indlagt i en spørgeskemaundersøgelse, prøvet at finde ud af, hvordan vælgerne straffer politikere for skandaler. De finder:

 … substantial evidence that politicians are particularly punished for political-ideological hypocrisy, while there is less evidence that gender stereotypes matter. We also show that voters evaluate scandals in the personal lives of politicians in a highly partisan manner – other-party voters punish a politician substantially harsher than same-party voters.

 Politikere bliver straffet, hvis de handler i modstrid med deres ideologi. Det vil eksempelvis sige, at en socialdemokratisk politiker, der sender sit barn i privatskole, bliver straffet hårdt (i menngsmålingerne), mens vi synes det er ok hvis en venstrepolitiker gør det samme.

 Mere konkret finder de, måske ikke så overraskende, at vælgerne straffer politikere, de er  uenige med meget hårdere end dem, de normalt stemmer på. Man er altså mere overbærende over for Lars Løkke lige for tiden, hvis man normalt stemmer Venstre.

Vil man gerne læse mere om temaet, og hvad det aktuelt kan betyde for Lars Løkke Rasmussen, kan vi anbefale, at man læser videre på videnskab.dk.

Har Megafon interviewet 33.000?

… eller er det TV2, der glemmer alt om statistisk usikkerhed? Det korte svar på spørgsmålet er, at Megafon har interviewet 1.155, og TV2 og andre medier har kastet alle overvejelser om statistisk usikkerhed over bords.

Hvorfor overhovedet stille spørgsmålet? Jo, fordi blandt andet TV2, BT, Politiken og Berlingske skriver, at Venstre er i en ny måling fra Megafon er gået 3,3 procentpoint tilbage fra deres seneste måling, og de står til 26,3 procent. Og det er mindre end ved det seneste valg, hvor partiet fik 26,7 procent. Men kan vi på baggrund af Megafons måling være sikre på, at Venstre ville blive mindre end ved det seneste valg, hvis der var valg i morgen?

Det korte svar er, at vi ikke kan være særligt sikre. Vi kan være ret sikre på, at Venstre er gået meget tilbage. Det er en stor historie i sig selv. Og man burde undre sig over, at TV2 og andre ikke bare kører på den historie, som der formentlig er hold i, i stedet for at stramme den til en ret løs konklusion.

Når man arbejder med meningsmålinger og meget anden statistik, er det rigtige spørgsmål ikke, hvad man kan være sikker på, men hvor sikker, man kan være. Så lad os stille det spørgsmål: Hvor sikre kan vi være på, at Venstre er mindre end ved valget i 2011?

En ikke helt sikker konklusion af TV2

Ifølge Politiken har Megafon spurgt 1155 personer i deres måling. Hvis de har spurgt et tilfældigt udvalg udsnit af befolkningen, så er der omkring 61 procents sikkerhed for, at Venstre er mindre end i 2011. (Der kan være detaljer omkring Megafons måling, som vi ikke kender til, der kan ændre denne størrelse marginalt).

Er 61 procents sikkerhed nok til, at et seriøst medie som TV2 og andre medier vil trykke noget? Åbenbart. I hvert fald når det kommer til meningsmålinger. Og det er ikke noget enkeltstående tilfælde. Medierne synes ofte at være lykkeligt uvidende om den usikkerhed, der knytter sig til meningsmålinger.

Statistisk usikkerhed

Hver gang man ser en meningsmåling, er et sundt spørgsmål, man kan stille sig selv: Hvad er usikkerheden. For der vil altid være en usikkerhed, der blandt andet afhænger af, hvor mange man har spurgt og variationen i deres svar. Noget vi tidligere har skrevet om her.

Kort sagt er problemet, at vi med en meningsmåling prøver at måle noget essentielt ukendt. Fx vælgernes tilslutning til Venstre. Vi tager en stikprøve og ”gætter” på, at den sande vælgertilslutning, den ude i befolkningen, er den samme som i stikprøven. Altså gætter vi, at Venstre står til 26,3 procent ud fra Megafons måling. Men vi ved også, at dette tal er behæftet med en usikkerhedsmargin.

En god tommelfingerregel er, at usikkerheden er plus/minus tre procentpoint i meningsmålinger. Det vil sige, at når vi har lavet en meningsmåling, hvor vi prøver at måle noget essentielt ukendt (fx Venstres aktuelle tilslutning i befolkningen), vil det, vi i virkeligheden prøver at måle, med 95 procents sikkerhed ligge inden for tre procentpoint af det, vi kom frem til.

Med den tommelfingerregel vil man hurtigt stille sig skeptisk over for en hver historie, der som TV2’s, konkluderer ud fra en forskel på blot 0,4 procentpoint. Faktisk kan vi ud fra Megafons måling regne os frem til, at vi kan være 95 procent sikre på, at Venstre ville få mellem 23,8 og 29,0 procent af stemmerne, hvis der var valg i morgen. Altså cirka plus/minus 2,6 procents usikkerhed omkring Megafons gæt.

De 33.000 og hvad de skulle have sagt

Vi har også regnet på, hvor mange man skulle spørge for med sikkerhed at kunne sige, at Venstre ville være mindre end ved det seneste valg. Hvis vi fastholder en forskel på 0,4 procentpoint, skal man ”bare” spørge lidt færre end 33.000 tilfældigt udvalgte danskere for at være 95 procent sikker på, at Venstre rent faktisk er mindre end nu end ved valget i 2011. Det er som skrevet forudsat, at der også i den stikprøve er en forskel på 0,4 procentpoint. (Til de særligt interesserede er det, hvis man laver en ensidet test.) Den eneste ”meningsmåling”, der kommer i nærheden af det, er faktisk folketingsvalgene.

Man bør ikke konkludere, at Venstre er mindre end ved seneste valg. Og det er lidt trist, at det er den historie, der trænger igennem. For den mangler dybest set belæg. Men målingen er samtidig en af flere nylige målinger, der alle sender Venstre markant tilbage. Hvorfor ikke bare blive ved den historie, der er vigtig i sig selv? Det er fx vinklen i denne afrapportering af en Gallup-måling, hvor Venstre ligger marginalt over 2011-resultatet. For det er meget sikkert, at Venstre er gået væsentligt tilbage fra da de havde over 30 procent af stemmerne. 

Vælgerfiasko?

Det her en lille sjov historie som vi faldt over for noget tid siden. Politiken havde en historie under overskriften: Vælger fiasko lurer for kommunalvalget. Historien byggede på en rapport fra KORA, som har lavet en survey i løbet af foråret, der viser, at kun 75 pct.var helt sikre på, at de ville stemme ved kommunalvalget i november.

Undersøgelsen fejler ikke noget. Men tallet illustrerer en pointe, vi tidligere har haft. I tidligere indlæg har vi skrevet om, at det ikke altid er lige heldigt at spørge til om folk vil stemme eller har stemt, fordi de vil være tilbøjelige til at svare det socialt accepterede - at de har stemt. Det her er et fantastisk eksempel. Ved det seneste kommunalvalg var deltagelsen på landsplan 66 pct. Hvis vi skulle tage surveyresultatet for gode varer, så burde overskriften nok have været "vælgersucces". 

Så man kan ikke tage tallet for gode varer, og overskriften bygger da også på, at de 75 pct. er lavere end i tidligere undersøgelser, der er foretaget forud for valg. 

Er Socialdemokraterne mindre end Dansk Folkeparti?

Deadline bragte sidste lørdag en historie om Socialdemokraternes krise. Og Socialdemokraterne er uden tvivl i krise. Men Deadline smurte lige lovlig tykt på.

Indslaget blev således indledt med at værten, på baggrund af den seneste Epinion-måling, bekendtgjorde at Socialdemokraterne var blevet Danmarks tredjestørste parti. Overhalet af Dansk Folkeparti. Der er to problemer med denne vinkling.

For det første kan man ikke rigtigt bruge Epinion-målingen til at konkludere, at Socialdemokraterne var blevet mindre end Dansk Folkeparti. Den faktiske forskel viste ganske rigtigt et lille forspring til DF på 0,3 procentpoint. Hvis vi omsætter det til svarpersoner i målingen, svarer det til, at der var tre flere, der sagde de ville stemme på DF end der var folk der sagde, de ville stemme på S. Ikke videre imponerende. Konkret svarer det til, at der var 58 pct. sandsynlighed for at DF var større end S. Eller sagt på en anden måde: at der var 42 pct. sandsynlighed for at S blev større end DF.

For det andet er Epinion-målingen ikke et udtryk for en generel tendens. Figuren nedenfor viser resultatet af 32 målinger foretaget over de seneste fire måneder. Cirka en tredjedel af disse målinger giver et forspring til DF, men to ud af tre giver et forspring til S. De lodrette streger i figuren er udtryk for den statistiske usikkerhed knyttet til den enkelte måling, såfremt den er foretaget eksemplarisk. Hvis vi tager højde for dette er forholdet omtrent det samme: fire målinger giver et forspring til DF, ni målinger giver et forspring til S. Gennemsnitligt har S et forspring på 1,3 procentpoint.

Der var altså intet belæg for den vinkel som Deadline lagde. Og det værste er, at man let kunne have lavet en skarp vinkling, hvor man ikke kom på kant med sandheden: nemlig at Dansk Folkeparti og Socialdemokraterne var blevet nogenlunde lige store. Det er da en nyhed i sig selv.

Et svar til Foreningen Nydansker

Formanden for Foreningen Nydansker, Torben Møller Hansen (TMH), svarer i dag på vores kritik af deres undersøgelse omkring fritidsjobs effekter på senere job og beskæftigelse. Svaret kan læses på Netudgaven, som vi samarbejder med.

Vi sætter stor pris på at Foreningen Nydansker har læst med, og på at de har taget sig tid til at svare på vores kritik. Svaret er oplysende og afklarer nogle af de ting, som vi har sat spørgsmålstegn ved.

Alligevel vil vi gerne kort kommentere på nogle af de ting som TMH anfører i sit svar.

For det første skriver TMH, at der er  ”stor forskel på at tale om sammenhænge og om effekter, og dette gør vi også opmærksom på i rapporten”. Alligevel  består rapporten af en række overskrifter med titlerne ”Effekter på X”, ligesom TMH selv sagde, at det giver afkast på den lange bane at tage et fritidsjob.

Dernæst skriver TMH at ” vores pointe er, at tidlige erhvervserfaringer øger sandsynligheden for at lykkes på arbejdsmarkedet.” Det er vi sådan set med på.  Vores pointe er, at foreningen ikke kan sige noget, om hvorvidt den øgede sandsynlighed for at lykkes på arbejdsmarkedet skyldes fritidsjob. De godt kan have nogle formodninger omkring, at det rent faktisk er fritidsjobbet i sig selv, der øger denne sandsynlighed. Rapporten gør os bare ikke klogere på, om dette er mere end en formodning.

Endeligt skriver TMH, at undersøgelser grundlæggende er det muliges kunst. Det er vi meget enige i. Og vi vil meget gerne i dialog med dem omkring, hvordan man kunne skabe bedre effekt estimater, både gennem eksperimenter og igennem bedre brug af registerdata. Men nogle gange skal man også have respekt for det umulige. Det kan være bedre at være ærlig og oprigtig omkring sin uvidenhed end at gå efter den hurtige og nemme løsning. Et problem vi selv står med stort set hver dag.

Afslutningsvist vil vi gerne understrege, at vi faktisk tror at Foreningen Nydansker har ret. Vores ”gut-feeling” siger os, at fritidsjob har positive effekter, men hvis målet, som TMH skriver, er at dokumentere en sådan effekt, så når rapporten ikke i mål.