Andreas Madum

Farerne ved MIT-konferencer og rumforskere om field goals i amerikansk fodbold

Som besøgende ph.d.-studerende i området omkring Boston har man mulighed for at deltage i et utal af interessante arrangementer - hvis man da kan afse tid til det. For mig har sidstnævnte vist sig at være en bibetingelse, der alt for ofte har været bindende. Og selvom vi økonomer ofte bliver kritiseret for at udtrykke os med for stor sikkerhed, når vi spår om fremtiden, så tør jeg godt at garantere, at det ikke kommer til at ændre sig i den resterende tid, jeg er herovre. Af samme grund vil dette med stor sandsynlighed være mit eneste blogindlæg i en længere periode.

I starten af marts valgte jeg dog, stik mod al sund fornuft, at udnytte den imperfekte information, mine kære vejledere hjemme i København er i besiddelse af, og bruge en weekend på en konference omhandlende et af mine absolutte favoritemner: Anvendelsen af økonomiske metoder i professionel sport. Konferencen er en årlig begivenhed bedre kendt som MIT Sloan Sports Analytics Conference, og er en slags Roskildefestival for folk, der holder af at kombinere analytisk tankegang og sport.

Nu tænker selv økonomistuderende formentlig, at det lyder helt utrolig nørdet. Og jeg vil ikke lyve. Det er det også! To ting understreger, hvor slemt det står til. 

1) Der skulle angiveligt have været en ratio af 13 mænd per kvinde blandt de knap 3.000 deltagere.

2) Det uofficielle slogan for året konference var ’Stedet hvor Nate Silver bliver behandlet som Justin Bieber’. 

Et af de mest surrealistiske øjeblikke i løbet af weekenden var da en af de mest velbesøgte paneldiskussioner, hvor bl.a. Nate Silver deltog, sluttede, hvorefter en hær af midaldrende mænd iført designerjakkesæt og sko af alligatorskind bogstavelig talt stormede scenen for at få autografer og stille spørgsmål om stikprøveteori. 

Jeg vil utvivlsomt benægte det i fremtiden, men årsagen til, at jeg ikke indtog min naturlige plads i hoben af Silviebers var, at jeg hellere ville skynde mig videre til næste event, så jeg kunne få den bedste plads, når to ph.d.-studerende i astronautics på MIT (ja, intet mindre end rocket science!) præsenterede deres forskning om faktorer, som påvirker sandsynligheden for, at kickere i amerikansk fodbold kan ramme deres field goal forsøg*. Jeg er med andre ord værre end dem, som stormer scenen. Og så havde jeg selvfølgelig ikke et jakkesæt på, men derimod en beskidt trøje. Hvor der, naturligvis, stod ’If your model is always right, it’s wrong’. 

I deres udmærkede paper finder fremtidens NASA-eksperter, at distancen fra målstængerne, vejret på kampdagen, hvorvidt kampen spilles på kunstgræs eller rigtigt græs samt antallet af meter stadion ligger over havets overflade har betydning for, hvorvidt en kicker er i stand til at sparke bolden op mellem stængerne. Alt sammen meget plausibelt. I deres præsentation gjorde de desuden en del ud af, at de ikke fandt statistisk bevis for, at kickeren bliver påvirket af en række psykologiske faktorer, herunder hvorvidt modstanderne tager en timeout lige før, at han skal til at sparke. I amerikansk fodbold kaldes dette at ’ice’ kickeren, og det skulle potentielt påvirke ham negativt, da hans rytme brydes, og da han desuden har længere tid til at tænke over, hvor vigtigt det efterfølgende field goal forsøg er**. 

Jeg er sådan set ikke af den overbevisning, at dette er forkert. Tværtimod. Men måden, hvorpå de tester det, virker uheldig. Grundlæggende antager de, at alle timeouts før et spark er ens. Dvs. hvis modstanderholdet tager en timeout for at stoppe tiden allerede inden sparkeren kommer på banen, så defineres det i deres dataset som ’icing’ af kickeren. I min verden er dette forkert. ’Icing’ er udelukkende, når kickeren er på banen og har gjort sig klar til at sparke, hvorefter der bliver taget en timeout. Når man pooler alle tilfælde, hvor en timeout er taget inden sparket - uagtet, hvorvidt den er taget tidligt for at stoppe tiden eller sent for at ’ice’ kickeren - så mister testen i mine øjne sin gyldighed, hvorfor forfatterne ikke kan tillade sig at konkludere noget på netop dette område. I øvrigt kunne man argumentere for, at ’icing’ faktisk burde virke ved, at kickeren misser med en højere sandsynlighed, når modstanderens træner ikke tager en timeout, men dog havde muligheden for at gøre det. Årsagen er, at kickeren måske forventer, at træneren bruger sin timeout inden sparket, og derfor er der ingen grund til, at han bruger energi på at forberede sig mental. Dette argument er dog forkert, hvilket bevises nedenfor. 

Det vil næppe chokere nogen af dem, der har talt om sport, herunder særligt amerikansk fodbold eller basketball, med mig, men ’icing’ af kickeren er faktisk et problem, jeg tidligere har tænkt igennem - grundigt! - i de sene nattetimer, mens jeg har set Monday Night Football. Det interessante i problemet er, som alt andet interessant her i livet, spilteoretisk. Betragt følgende model som Econometrica af uransagelige årsager valgte at desk rejecte. Daron havde ingen kommentarer, da jeg spurgte til det under hans besøg på KU for et år siden...

Antag at kickeren har en omkostning på c > 0 ved at forberede sig mentalt på at sparke et field goal. Hvis han forbereder sig mentalt, kan han øge sandsynligheden for, at hans forsøg er succesfuldt fra p til P , hvor p > c og P - p > c. Den eneste beslutning det andet holds træner har, er hvorvidt han ønsker at bruge en timeout på at ’ice’ kickeren***. Der er ingen omkostning forbundet med at bruge en timeout. Kickeren og træneren træffer deres initiale beslutninger simultant, men hvis træneren bruger sin timeout, vil kickeren ikke få lov til at forsøge sit field goal, og skal i stedet på ny beslutte om han vil forberede sig mentalt. Kickerens evt. omkostning på c fra første forsøg (eller mangel på samme) er en sunk cost. Kickerens payoff er sandsynligheden for, at han er succesfuld, minus c for hver gang han har forberedt sig mentalt (hvilket kan være 0, 1 eller 2 gange). Trænerens payoff er minus sandsynligheden for, at kickeren er succesfuld. Modellen kan nu udtrykkes ved nedenstående spiltræ, hvor trænerens beslutning er ’Ice’ eller ’No Ice’, mens kickerens beslutninger er mental forberedelse ’M’ eller ingen mental forberedelse ’No’. Payoffs er indsat nederst for hvert af de 6 mulige udfald. Kickerens payoff er det øverste. 


Modellen løses ved at bruge baglæns induktion, og der startes derfor med de to underspil, hvor træneren har brugt sin timeout (har spillet ’Ice’). Vi ser her, at siden P - p > c vil kickeren altid spille ’M’ og er derfor altid mentalt forberedt, når træneren har brugt sin timeout. Vi ser altså, at ’icing’ af kickeren aldrig virker, når træneren rent faktisk vælger at bruge sin timeout. Det er helt i overensstemmelse med, at rumforskerne fra MIT finder, at der ikke er nogen statistisk signifikant effekt på kickerens præstation, når der er taget en timeout umiddelbart inden han forsøger sig. Givet at kickeren altid forbereder sig til sit ”andet” forsøg, når træneren brugte sin timeout inden det ”første” forsøg, kan modellen reduceres til følgende bimatrix, hvor kickerens strategier er indsat i første kolonne, mens trænerens strategier er indsat i første række. De resterende fire celler udtrykker payoffs som funktion af spillernes strategier, og kickerens payoff står først. 

Der er netop én underspilsperfekt Nash-ligevægt i rene strategier i modellen, nemlig (M, M, M), (No Ice). Dvs. når kickeren altid forbereder sig, har træneren intet incitament til at tage sin timeout, og når træneren aldrig tager sin timeout, har kickeren intet incitament til ikke at forberede sig. Det er meget intuitivt, givet modellens opbygning. Men hvorfor ser vi så trænere benytte sig af muligheden for at tage en timeout?

Årsagen er, at der også er ligevægte, hvor træneren nogle gange tager en timeout, og andre gange undlader at gøre det. Når disse ligevægte skal identificeres, er det brugbart at starte med at gøre en observation: Hvis der er en positiv sandsynlighed for, at kickeren ikke forbereder sig, så vil træneren aldrig kalde sin timeout. Det følger, at hvis det i ligevægt er optimalt for træneren at bruge sin timeout med positiv sandsynlighed, er det en nødvendig (og tilstrækkelig) betingelse, at kickeren altid forbereder sig. Men hvis kickeren altid forbereder sig, er det let at indse, at træneren er netop indifferent mellem at bruge sin timeout eller ej. Derfor er han også indifferent mellem alle

sine mixede strategier, hvor han ikke kalder timeout med sandsynlighed m tilhørende (0,1) og kalder timeout med sandsynlighed 1 - m, mens kickerens strategi fortsat er (M, M, M)Men har kickeren fortsat incitament til altid at forberede sig mentalt, givet træneres mixede strategi? For at afgøre dette, identificeres det m, hvor kickeren netop er indifferent mellem at forberede sig til det første spark, (M, M, M), og ikke at forberede sig (N, M, M). Med andre ord løses ligningen: 

Det gælder nu, at for  vil det være optimalt for kickeren at spille en ren strategi, hvor han

aldrig forbereder sig inden sit første forsøg. Og når dette er tilfældet ved vi fra tidligere, at træneren aldrig bruger sin timeout. Derfor findes der følgende underspilsperfekte Nash ligevægte i mixede strategier: Kickeren spiller fortsat (M, M, M), og træneren undlader at bruge sin timeout med sandsynlighed mens han bruger sin timeout med sandsynlighed 1 - m. 

En lidt løs fortolkning af ovenstående er, at træneren gerne ville forpligte sig til at bruge timeouten med en højere sandsynlighed end 1 - m. Mere specifikt ville træneren foretrække et m' hvor m > m' > 0Dette ville medføre, at kickeren med en strengt positiv sandsynlighed ville forsøge et field goal i ligevægt, hvor han ikke er mentalt forberedt. Dette ville oplagt give træneren et højere forventet payoff. Men hvis dette rent faktisk skete nogen gange, ville træneren foretrække aldrig at bruge sin timeout. Og derfor er det ikke troværdigt, givet kickerens bedste svar, at træneren undlader at tage sin timeout med sandsynlighed m' i ligevægt.

Så når trænere i NFL prøver at ’ice’ kickeren ved nogen gange at tage en timeout, har det aldrig indflydelse på sandsynligheden for, at sparket er succesfuldt. Det har dog den effekt, at kickeren skal forberede sig to gange, og derfor betaler omkostningen på c to gange. Det ville derfor være en Pareto forbedring, hvis NFL forbød trænerne at bruge deres timeouts til at ’ice’ kickeren. Givet at udregninger præsenteret på konferencen viste, at der hvert år er i alt 100.000 individuelle tilfælde af hjernerystelser i football-kampe i USA, hvilket i den grad har vækket det politiske systems interesse, tror jeg dog ikke, at ’icing’-reglen er den første, der skal tweakes, når NFL’s competition committee mødes næste gang. På trods af mine talrige e-mails.

Selv om deltagelse på MIT Sloan Sports Analytics Conference altså kommer med en faretruende høj risiko for, at man får out-of-body experiences, hvori man genoplever gamle modeller som fx ovenstående om ’icing’ af kickere i NFL, så vil jeg klart anbefale sports- og økonomiinteresserede at tage et smut forbi Boston de kommende år (og/eller tjekke Sloan Sports Conference, hvor alle fremlæggelser og paneler fra tidligere år ligger, og hvor dette års events også uploades om nogle måneder). Der er nemlig bare et eller andet utrolig fedt ved at se Kirk Goldsberry fremlægge sin forskning The Dwight Effect****, hvor han beviser, at visse typer af store forsvarsspillere i NBA er undervurderede - mens man sidder ved siden af Stan Van Gundy! Og så sad jeg i øvrigt ved siden af Eric Seidel, som har cashet over $17 mio. i pokerturneringer gennem sin karriere, da jeg så en af mine personlige favoritter, Haralabos Voulgaris, forklare, hvordan han har udviklet en model, som kan forudsige udfaldet af visse elementer af NBA-kampe så præcist, at han er blevet den mest vindende NBA-better nogensinde. Hans model er så respekteret, at mange bookmakere i Las Vegas ikke længere vil have ham som kunde. I sådanne øjeblikke glemmer man (næsten), at man skal skynde sig hjem og lave tre afleveringer til næste uge...


* Clark, Torin K., Aaron W. Johnson & Alexander J. Stimpson: Going for Three: Predicting the Likelihood of Field Goal Success with Logistic Regression

Pdf tilgængelig her.

** Se f.eks. http://en.wikipedia.org/wiki/Icing_the_kicker
*** I NFL er det ikke tilladt for en træner at bruge to timeouts i træk, så der er ingen grund til at betragte tilfælde, hvor træneren bruger mere end en timeout.

**** Goldsberry, Kirk & Eric Weiss The Dwight Effect: A New Ensemble of Interior Defense Analytics for the NBA

Pdf tilgængelig her. 

4 kommentarer


Incentive, Virksomhedsprofil

Incentive, Virksomhedsprofil @ d. 06. march 2013 #5

Økonomer har også kastet sig ud i analyser om field goals:
http://elsa.berkeley.edu/~dromer/papers/JPE_April06.pdf


Niels Storm Knigge

Niels Storm Knigge @ d. 06. march 2013 #6

Hej Andreas,

Dejligt at se nogen bruger økonomi til noget relevant. Det ville være dejligt om nogen kunne opstille en model for hvornår Vikings vinder en Superbowl, så jeg ikke behøver sidde og være spændt ved hver kamp (og blive skuffet hver gang indtil nu) :)

Jeg sidder og kigger på din gennemgang, og kan se 2 grundlæggende problemer. Ret mig endelig hvis jeg har taget fejl, og overset et eller andet oplagt:

1) Beslutningen om at Ice eller ikke at Ice er omkostningsfri. Et hold har kun 3 timeouts per halvleg, og beslutningen om at Ice er derfor i visse situationer potentielt ekstremt kostbar.
Men hvis vi nu antager det kun gælder field goals i crunch time (altså field goals i slutningen af en halvleg), og holdet har mindst 1 timeout til overs, så holder den antagelse fint. Og den er måske ikke så vigtig under nogen omstændigheder, da den ikke påvirker spillet som sådan.

Men 2) er mere afgørende. Du antager nemlig at sandsynlighederne p og P i det næste niveau af underspil er uafhængige af hvad der er spillet i første underspil. Det er det samme som at antage at Icing ingen effekt har... Og derfor har du antaget dig frem til konklusionen, som jeg ser det. Så jeg er ikke sikker på at modellen holder.


Andreas Madum

Andreas Madum @ d. 06. march 2013 #7

@ Niels

Der er formentlig et utal af problemer med modellen. Det er ikke det mest grundige, jeg nogensinde har lavet (og, desværre, heller ikke det mindst grundige). Så jeg vil ikke gå ned i flammer for at forsvare den* . Og alene det faktum, at du læste hele indlægget grundigt nok til at kommentere, er en kæmpe succes for mig!

Men jeg synes ikke, at de to pointer, du bringer op, er så invaliderende som du umiddelbart gør dem til. Lad os tage dem en ad gangen.

1) Som du også skriver bruges icing udelukkende i den afsluttende fase af enten 1. eller 2. halvleg. Dvs. der forsøges et field goal med fx 5 sekunder tilbage, og det andet hold har en eller flere timeouts. I sådanne situationer er den alternative værdi af en timeout udmærket approksimeret ved 0. Her er vi enige.

2) Udmærket pointe. Min tankegang begrunder sig i følgende udsagn:

Hvis kickeren ved, at træneren altid bruger en timeout lige inden der sparkes, så burde kickeren ikke blive påvirket af det, og sandsynligheden for at han scorer er uændret relativt til situationen, hvor der aldrig bliver taget en timeout. Det, synes jeg, er et ret overbevisende argument.

Hvis du er enig i ovenstående, vil du også være enig i, at icing alene vil kunne være effektivt, hvis det anvendes som en del af en mixed strategy.

Min pointe med modellen er nu, at icing faktisk kan være effektivt i ligevægt – når man har muligheden for at bruge det, men ikke altid gør det! Og det endda på trods af, at du mener, at jeg har antaget, at icing ikke virker!

Så jeg synes ikke (surprise!), at konklusionen er antaget. Konklusionen opstår derimod på grund af et forpligtigelsesproblem for træneren. Han ved, at icing kan være effektivt, hvis han ikke gør det altid, men dog tilstrækkeligt ofte. Men givet at icing faktisk er effektivt, vil han ikke have incitament til at gøre det tilstrækkeligt ofte. Jeg synes, at denne dynamik er langt mere raffineret end du (eller Econometrica…) giver mig kredit for.

Så når jeg bliver konsulent for et NFL-hold, dvs. om 5-10 år, vil jeg råde min træner til at opbygge et omdømme som en, der ofte gør brug af icing. Og ind i mellem skal han så stille sig ved siden af en dommer lige inden sparket, for at lade som om, han gør klar til at bruge en timeout. Uden faktisk at gøre det! Ifølge min models argumentation, som vi nu alle er enige om er den endegyldige sandhed (…), burde dette reducere kickerens forventede succesrate.

* Og alligevel blev dette et langt indlæg. Måske lyver jeg for mig selv?


Anders Munk-Nielsen

Anders Munk-Nielsen @ d. 07. march 2013 #8

ice, ice baby baby! Super fedt indlæg, thumbs up!


Tak for din kommentar!
Skriv venligst en kommentar der er længere end 5 tegn

Skriv en kommentar

Log ind for at kommentere - eller opret en bruger

Andreas Madum

Andreas Madum er cand.polit. og ph.d. fra Københavns Universitet. Han har undervist i en række makro- og mikroøkonomiske fag på polit., mat-øk og HA(mat) og har tidligere været fuldmægtig i Finansministeriet. Han arbejder i dag hos The Boston Consulting Group.