Statistisk signifikante sammenhænge er ikke altid--signifikante

Statistisk signifikans -- det er da noget, man selv bestemmer!

I en tankevækkende og læseværdig artikel, omtalt i dagens udgave af Ingeniøren, advarer forskere fra University of Pennsylvania og UC Berkeley mod at stole for meget på studier, som viser statistisk signifikante sammenhænge. Små, på overfladen uskyldige justeringer kan ofte få meningsløse sammenhænge til at fremstå signifikante.

I et eksperiment til at illustrere denne pointe undersøgte forskerne, om man rent faktisk bliver yngre af at lytte til Beatles' "When I'm Sixty-Four". En kontrolgruppe lyttede i stedet til sangen "Kalimba" af en vis Mr. Scruff; et nummer som er præinstalleret på alle Windows 7-computere (hør det selv -- det er lækkert ;-)).

Eksperimentet giver selvfølgelig ingen mening. Men ved at inddrage en umiddelbar rimelig kontrolvariabel (faderens alder) fandt forskerne alligevel, at gruppen, der lyttede til Beatles, var signifikant yngre end gruppen, der lyttede til Mr. Scruff!

Artiklen understreger, hvor vigtigt det er at være diciplineret i sin databehandling og analyse. Og kommer med seks konkrete forslag, som mange godt kan tage ved lære af.

Hvorfor falder selv dygtige og anerkendte forskere i den statistike faldgrube? Jo, måske fordi signifikante resultater opfattes som mere "spændende", og er nemmere at få publiceret. Dermed er de med til at fremme forskernes karrierer. Forskere bliver derfor fristet til at torturere data, til det tilstår! Incitamenter virker, også på forskere.

Herfra skal der derfor lyde en opfordring til, at tidsskrifter og læsere interesserer sig lige så meget for de studier, der viser ikke finder signifikans, som dem, der gør.

Hilsen
Claus Bjørn Galbo-Jørgensen
Incentive Partners