De usikre meningsmålinger

Vi læser hele tiden om meningsmålinger. Den ene dag er regeringspartierne gået tilbage, den næste dag er de gået frem.  Især når vi nærmer os kommunal-, regions- og folketingsvalg stiger antallet af meningsmålinger og folk (især politikerne) tillægger dem mere og mere betydning.

Under den amerikanske valgkamp sidste år var meningsmålinger i fokus. De fleste viste, at Hillary Clinton ville vinde valget, men i sidste ende blev det Donald Trump - og det overraskede mange. Men det burde det måske ikke have gjort.

For meningsmålinger er behæftet med usikkerhed - og jo tættere et resultat er på 50/50 desto større bliver usikkerheden. Det var også tilfældet i det amerikanske valg, hvor de to kandidater trak mange målinger i 55/45 spændet. Her trak Hillary Clinton oftest det længste strå, men usikkerheden gjorde, at Trump reelt havde omkring 30 % sandsynlighed for at vinde - og begivenheder med 30 % sandsynlighed sker hele tiden.

Sådan udregner man usikkerhed

Oftest kan man læse i en fodnote et sted, at den pågældende meningsmåling har en maksimal usikkerhed på et bestemt procenttal. Den er udregnet ud fra antallet af respondenter og typisk en fordeling på 50/50. Der er to parametre, der afgør hvor stor en usikkerhed, der er behæftet med en måling: nemlig, hvor mange der er blevet adspurgt og hvor stor en procentfordeling målingen er.

Jo flere respondenter der har deltaget i en måling, desto mindre er usikkerheden. Men jo tættere en måling er på 50 % desto mere usikker er den. Det betyder i Danmark at større partier såsom Venstre, Socialdemokraterne og Dansk Folkeparti har større usikkerhed tilknyttet deres målinger, end mindre partier som Konservative, SF og Nye Borgerlige. Og når vi aggregerer partiernes resultater sammen til henholdsvis rød og blå blok, ja så stiger usikkerheden endnu mere.

For at udregne usikkerheden skal du vide tre ting: dit konfidensinterval, den andel du vil måle usikkerhed på, og hvor mange, der har deltaget i målingen. Du bruger dit konfidensinterval til at fastlægge din z-score som du skal bruge i formlen. Derefter indtaster man andel og antal respondenter - og voila - så har man usikkerheden.

Det betyder fx helt konkret, at når et parti svæver omkring spærregrænsen, så kan de være meget mere sikre på, at de er netop der, da deres p er så lille at usikkerheden er tilsvarende lille. Modsat er det når vi skal se på om regeringsmagten vil skifte. Her har vi to blokke med store p værdier, hvilket gør usikkerheden meget større - især i Danmark, hvor magtfordelingen mellem blokkene tit er meget tæt på 50/50.

Gå efter trenden ikke målingen

Hvis man ser på partiernes målinger henover 2016 så er det faktisk kun Dansk Folkeparti og Socialdemokraterne vi med rimelig sikkerhed kan sige har flyttet sig i målingerne. Alle andre partier er - på trods af op- og nedture - endt inden for samme spænd som deres første måling inklusiv usikkerhed i begyndelsen af året.

Figuren viser de danske partiers meningsmålinger i løbet af 2016. Jeg har taget Nye Borgerlige ud, da de ikke har målinger i løbet af hele året. De stiplede linjer viser det spænd, der var tilknyttet partiets første måling i 2016. Her ser man også tydeligt, at det spænd er mindre for små end for store partier.

De fleste danske partier flytter sig ikke statistisk i løbet af et år

Kilde: Berlingske Barometer

I en dansk kontekst betyder det, at de målinger vi ser oftest ikke er statistisk forskellige fra tidligere målinger. Medierne kan godt lide at fortælle, at et parti er oppe eller nede, men de medtager aldrig usikkerheden i deres historier - for gør de det er der reelt ikke nogen historie. Alligevel har danske medier udgivet over 30.000 artikler med ordet meningsmåling i 2016.

Over 30.000 artikler med ordet “meningsmåling” i 2016

Kilde: Infomedia

Hvis man skal vurdere, hvordan et politiske parti eller en politisk blok klarer sig, så skal man se på trenden. Hvis flere uafhængige (af hinanden) målinger viser et skred i en bestemt retning, så kan man begynde at konkludere, at der sker noget i vælgerhavet.

Det ses i 2016 tydeligst for Dansk Folkeparti (O) og Socialdemokraterne (A), hvor de dårlige “MELD” og “FELD” historier flytter vælgerne fra O til A.

Trenden ændrer sig tydeligt for O og A i efteråret 2016

Kilde: Berlingske Barometer

Key take aways

• Jo tættere målinger er på 50/50 desto større er usikkerheden (fx regeringsskifte).

• Jo tættere målinger er på 0 eller 100 desto mindre er usikkerheden (fx partier nær spærregrænsen).

• Vær kritisk overfor antallet af respondenter i en måling (få adspurgte betyder stor usikkerhed).

• Nye målinger er ofte ikke statistisk forskellige fra forrige målinger.

• Se på trenden i målingerne.