8 LaTeX pakker du bør kende (og bruge)
Jeg har lavet in liste med 8 latex pakker som vil gøre..
Skal Afrika eller den hjemløse have mine..
Som mange andre giver jeg hver måned lidt penge til gode formål. Jeg giver pengene til ét godt formål (det er optimalt), men får jeg nok ud af det?

Statistisk signifikante sammenhænge er ikke altid--signifikante


Jonas Herby, Incentive
Af Jonas Herby, Incentive,
13 apr. 2012 15:07 - i kategorien Økonomi i Verden - #Incitamenter  #statistik  #økonometri 

Statistisk signifikans -- det er da noget, man selv bestemmer!

I en tankevækkende og læseværdig artikel, omtalt i dagens udgave af Ingeniøren, advarer forskere fra University of Pennsylvania og UC Berkeley mod at stole for meget på studier, som viser statistisk signifikante sammenhænge. Små, på overfladen uskyldige justeringer kan ofte få meningsløse sammenhænge til at fremstå signifikante.

I et eksperiment til at illustrere denne pointe undersøgte forskerne, om man rent faktisk bliver yngre af at lytte til Beatles' "When I'm Sixty-Four". En kontrolgruppe lyttede i stedet til sangen "Kalimba" af en vis Mr. Scruff; et nummer som er præinstalleret på alle Windows 7-computere (hør det selv -- det er lækkert ;-)).

Eksperimentet giver selvfølgelig ingen mening. Men ved at inddrage en umiddelbar rimelig kontrolvariabel (faderens alder) fandt forskerne alligevel, at gruppen, der lyttede til Beatles, var signifikant yngre end gruppen, der lyttede til Mr. Scruff!

Artiklen understreger, hvor vigtigt det er at være diciplineret i sin databehandling og analyse. Og kommer med seks konkrete forslag, som mange godt kan tage ved lære af.

Hvorfor falder selv dygtige og anerkendte forskere i den statistike faldgrube? Jo, måske fordi signifikante resultater opfattes som mere "spændende", og er nemmere at få publiceret. Dermed er de med til at fremme forskernes karrierer. Forskere bliver derfor fristet til at torturere data, til det tilstår! Incitamenter virker, også på forskere.

Herfra skal der derfor lyde en opfordring til, at tidsskrifter og læsere interesserer sig lige så meget for de studier, der viser ikke finder signifikans, som dem, der gør.

Hilsen
Claus Bjørn Galbo-Jørgensen
Incentive Partners

6 kommentarer

Anders Munk-Nielsen @ d. 13. april 2012 #1
Anders Munk-Nielsen
90%
Det er vel egentlig statistik 101? Statistisk signifikans giver et forkert resultat i 1 ud af 20 tilfælde... hvad statistik viser er derimod, at hvis det virkelig er forkert vil resultatet ikke være robust når man får uendeligt mange observationer.
Det er da selvindlysende at hvis man laver 200 meningsløse tests så får man 10 false positives? Det er en misforståelse af statistik som redskab... det giver ikke mening at gå til data og så vælge sin model ud fra hvad man finder er signifikant.

Desuden findes der måder at justere p-værdier på hvis man vil lave mange sekventielle tests så man undgår denne type problemer.

Men for at være mere konstruktiv, så har Ole Dahl Rasmussen lavet en artikel om, at man i udviklingsøkonomiske projekter bør lægge sin hypotese frit frem inden man udfører eksperimentet, så man ikke blot bagefter kan publicere de signifikante mønstre, man kan finde, men er bundet op på det, man teoretisk havde forventet før man udførte eksperimentet.
christian stassen @ d. 16. april 2012 #2
Anders, jeg mener "problemet" er dybere end du goer det til - jeg kan anbefale dig at laese "probability theory - the logic of scinece" af E.T. Jaynes. Giver en fantastisk intuitiv forstaaelse for faldgruberne i statistik
Ask Holme @ d. 16. april 2012 #3
Ask Holme
40%
@Anders: Som jeg læser deres abstract så er artiklens budskab at forskerens jagt på signifikans vil resultere i falske positive langt oftere end 1/20...
Morten Isaksen @ d. 19. april 2012 #4
Anders Munk-Nielsen @ d. 23. april 2012 #5
Anders Munk-Nielsen
90%
@Ask, præcis! Hvis du laver 200 "meningsløse" tests og vælger de signifikante vil du få 100% falske positive (> 5%).
Erik Kofoed @ d. 24. april 2012 #6
Erik Kofoed
90%
Lidt i forlængelse af Anders' første kommentar: Kunne en løsningen - eller rettere: en lille del af løsningen - være en øget brug af 'working papers', som bliver offentliggjort tidligere i forskningsforløbet end nu? I så fald vil det blive nemmere at sammenholde resultaterne fra de endelige papers med de oprindelige hypoteser og resultater.
Tak for din kommentar!
Skriv venligst en kommentar der er længere end 5 tegn

Skriv en kommentar

Log ind for at kommentere - eller opret en bruger

Jonas Herby, Incentive

Jeg blev færdig med studierne i 2006. Da jeg i sin tid skulle vælge job, gik jeg til min underviser, Jørgen Birk Mortensen, i faget Miljø- og ressourceøkonomi, som jeg syntes var superspændende. Jeg spurgte ham, hvordan man kunne arbejde med samfundsøkonomi og costbenefitanalyser. Og siden har jeg arbejdet som konsulent. Jeg arbejder i dag i Incentive, som er et konsulenthus med speciale i samfundsøkonomi, konkurrence og regulering, prissætning og markedsanalyser. Vi fjerner gætværk fra beslutninger.