De usikre meningsmålinger

Mikkel Krogsholm

Meningsmålinger er behæftet med usikkerhed, men det er sjældent at vi hører om det. Derfor får du her en guide til, hvordan du skal tolke meningsmålinger og deres usikkerhed.

Vi læser hele tiden om meningsmålinger. Den ene dag er regeringspartierne gået tilbage, den næste dag er de gået frem.  Især når vi nærmer os kommunal-, regions- og folketingsvalg stiger antallet af meningsmålinger og folk (især politikerne) tillægger dem mere og mere betydning.

Under den amerikanske valgkamp sidste år var meningsmålinger i fokus. De fleste viste, at Hillary Clinton ville vinde valget, men i sidste ende blev det Donald Trump - og det overraskede mange. Men det burde det måske ikke have gjort.

For meningsmålinger er behæftet med usikkerhed - og jo tættere et resultat er på 50/50 desto større bliver usikkerheden. Det var også tilfældet i det amerikanske valg, hvor de to kandidater trak mange målinger i 55/45 spændet. Her trak Hillary Clinton oftest det længste strå, men usikkerheden gjorde, at Trump reelt havde omkring 30 % sandsynlighed for at vinde - og begivenheder med 30 % sandsynlighed sker hele tiden.

Sådan udregner man usikkerhed

Oftest kan man læse i en fodnote et sted, at den pågældende meningsmåling har en maksimal usikkerhed på et bestemt procenttal. Den er udregnet ud fra antallet af respondenter og typisk en fordeling på 50/50. Der er to parametre, der afgør hvor stor en usikkerhed, der er behæftet med en måling: nemlig, hvor mange der er blevet adspurgt og hvor stor en procentfordeling målingen er.

Jo flere respondenter der har deltaget i en måling, desto mindre er usikkerheden. Men jo tættere en måling er på 50 % desto mere usikker er den. Det betyder i Danmark at større partier såsom Venstre, Socialdemokraterne og Dansk Folkeparti har større usikkerhed tilknyttet deres målinger, end mindre partier som Konservative, SF og Nye Borgerlige. Og når vi aggregerer partiernes resultater sammen til henholdsvis rød og blå blok, ja så stiger usikkerheden endnu mere.

For at udregne usikkerheden skal du vide tre ting: dit konfidensinterval, den andel du vil måle usikkerhed på, og hvor mange, der har deltaget i målingen. Du bruger dit konfidensinterval til at fastlægge din z-score som du skal bruge i formlen. Derefter indtaster man andel og antal respondenter - og voila - så har man usikkerheden.

Det betyder fx helt konkret, at når et parti svæver omkring spærregrænsen, så kan de være meget mere sikre på, at de er netop der, da deres p er så lille at usikkerheden er tilsvarende lille. Modsat er det når vi skal se på om regeringsmagten vil skifte. Her har vi to blokke med store p værdier, hvilket gør usikkerheden meget større - især i Danmark, hvor magtfordelingen mellem blokkene tit er meget tæt på 50/50.


Gå efter trenden ikke målingen

Hvis man ser på partiernes målinger henover 2016 så er det faktisk kun Dansk Folkeparti og Socialdemokraterne vi med rimelig sikkerhed kan sige har flyttet sig i målingerne. Alle andre partier er - på trods af op- og nedture - endt inden for samme spænd som deres første måling inklusiv usikkerhed i begyndelsen af året.

Figuren viser de danske partiers meningsmålinger i løbet af 2016. Jeg har taget Nye Borgerlige ud, da de ikke har målinger i løbet af hele året. De stiplede linjer viser det spænd, der var tilknyttet partiets første måling i 2016. Her ser man også tydeligt, at det spænd er mindre for små end for store partier.


De fleste danske partier flytter sig ikke statistisk i løbet af et år

plot3.svg.png

Kilde: Berlingske Barometer


I en dansk kontekst betyder det, at de målinger vi ser oftest ikke er statistisk forskellige fra tidligere målinger. Medierne kan godt lide at fortælle, at et parti er oppe eller nede, men de medtager aldrig usikkerheden i deres historier - for gør de det er der reelt ikke nogen historie. Alligevel har danske medier udgivet over 30.000 artikler med ordet meningsmåling i 2016.


Over 30.000 artikler med ordet “meningsmåling” i 2016

Alle medietyper

33.553

Webkilder

21.753

Regionale og lokale…

5.743

Landsdækkende da…

3.343

Nyhedsbureauer

1.783

TV-indslag

283

Radioindslag

223

Lokale ugeaviser

219

Magasiner

206

Kilde: Infomedia


Hvis man skal vurdere, hvordan et politiske parti eller en politisk blok klarer sig, så skal man se på trenden. Hvis flere uafhængige (af hinanden) målinger viser et skred i en bestemt retning, så kan man begynde at konkludere, at der sker noget i vælgerhavet.

Det ses i 2016 tydeligst for Dansk Folkeparti (O) og Socialdemokraterne (A), hvor de dårlige “MELD” og “FELD” historier flytter vælgerne fra O til A.


Trenden ændrer sig tydeligt for O og A i efteråret 2016

plot_A_O.svg.png

Kilde: Berlingske Barometer


Key take aways

  • Jo tættere målinger er på 50/50 desto større er usikkerheden (fx regeringsskifte).

  • Jo tættere målinger er på 0 eller 100 desto mindre er usikkerheden (fx partier nær spærregrænsen).

  • Vær kritisk overfor antallet af respondenter i en måling (få adspurgte betyder stor usikkerhed).

  • Nye målinger er ofte ikke statistisk forskellige fra forrige målinger.

  • Se på trenden i målingerne.


Tags: #dkpol  #meningsmålinger  #usikkerhed 

Faktaboks

Meningsmålingerne er hentet fra Berlingske Barometer og dækker alle deres registrede målinger for 2016. 

Infomedia-tallene er hentet ved at søge på ordet "meningsmåling" i perioden 2016.

Grafikkerne er lavet i R ved hjælp af ggplot2 pakken.

2 kommentarer


Mikael Olai Milhøj

Mikael Olai Milhøj @ d. 08. marts #1

Jeg synes, du mangler at komme ind på et væsentligt kritikpunkt: Hvordan sikrer du dig, at din stikprøve er repræsentativ? Man skulle tro, at det var blevet nemmere at lave meningsmålinger, men måske er det faktisk blevet sværere, fordi man måske ikke i samme grad ved, hvem man får fat på længere.

Der var f.eks. en gang en kæmpe outlier måling, hvor S stod til at få noget a la 15% af stemmerne, hvilket var et kæmpe fald. Instituttet var forundret og foretog samme måling igen og kom frem til samme resultat og mente så, at resultatet var godt nok. Men en biased stikprøve bliver selvfølgelig ikke bedre af at gentage den flere gange...

Et andet eksempel er f.eks. diskrepans mellem online- og telefonbaserede målinger, som der af og til er.


Andreas Tyge Møller

Andreas Tyge Møller @ d. 20. juni #2

Med fare for at være kommet for sent til debatten:
@Mikael Ja, det er nok blevet sværere at lave traditionelle stikprøver, men til gengæld har vi nok fået en bedre forståelse af hvordan man kan få unbiased estimater ud af en biased stikprøve. Tricket er, kort fortalt, at stratificere stikprøven indtil de enkelte grupper er repræsentative for de tilsvarende grupper i befolkningen. Jeg har desværre ikke set nogen af de danske meningsmålingsinstitutter forsøge at gøre noget i den stil - og vi må derfor stadig tage til takke med meningsmålingsanalyser af lav kvalitet.

Som eksempel har Andrew Gelman og kolleger formået at få ret god performance ud af en meningsmåling foretaget på Xbox (Xbox-spillere er mildest talt ikke et repræsentativt udsnit af befolkningen): http://data-informed.com/xbox-big-data-return-non-representative-polling/.

Jeg tror dog Mikkels pointe er at man ikke uden videre skal tolke på enkeltstående meningsmålinger (uanset om de er biased eller ej) - det er trods alt det hyppigste problem man støder på når medierne rapporterer om nye meningsmålinger.


Tak for din kommentar!
Skriv venligst en kommentar der er længere end 5 tegn

Skriv en kommentar

Log ind for at kommentere - eller opret en bruger
Faktaboks

Meningsmålingerne er hentet fra Berlingske Barometer og dækker alle deres registrede målinger for 2016. 

Infomedia-tallene er hentet ved at søge på ordet "meningsmåling" i perioden 2016.

Grafikkerne er lavet i R ved hjælp af ggplot2 pakken.

Du vil måske også synes om