Incentive, Virksomhedsprofil

Lav dog nogle forsøg!

Før jul kom Produktivitetskommissionens rapport om uddannelse og innovation. En af rapportens mange gode anbefalinger er, at "der gøres mere for at indsamle konkret viden om, hvad der virker i uddannelsespolitikken".

Der er en lang række eksempler på, at man har gennemført reformer baseret på "fornemmelser" frem for kvantitative forsøg. Bl.a. gymnasiereformen i 2005 og den nylige folkeskolereform. Så sent som midt i november udtalte undervisningsministeren, at "hvis det så viser sig, at det ikke går i den retning, som vi ønsker, skal vi selvfølgelig ikke bare lade det køre i 10 år".

Så man ændrer altså HELE folkeskolen uden med sikkerhed at vide, om det bliver bedre eller værre.

Så kan jeg bedre lide tilgangen de anvender i Behavioural Insights Team. Det er en anden boldgade, men læringen er den samme. Hvis man gør sig lidt umage, så får man meget mere ud af ressourcerne. Fx fandt de en spørgemåde, der var 33% mere effektiv til at få folk til at tilmelde sig organdonation.

33%! Tænk, hvis man baserede reformerne af uddannelsessektoren på lige så kvantitativ viden. Hvor ville det være fedt!

8 kommentarer


Christian Stassen

Christian Stassen @ d. 13. january 2014 #2

Jonas, problemet med forsoeg er at de skal give mening i forhold til det de er relateret til.

Organdonation er relativt nemt - man spoerger voksne mennesker om de vil donere, og de svarer ja eller nej. Det bliver ikke mere simpelt.

Uddannelse er noget andet. Dels er der en diskussion om MAALET - skal vi blot fokusere paa at maximere vores pisa-score? vores %optagne paa unier? paa gymnasie gennemsnit? alle har en fordel og en bagdel, hvilket er grunden til at man har den diskussion allerede.

Dernaest kommer MAALINGEN - hvis man aendrer noget gaar der LANG tid foer man ser effekten. Man kan ikke rigtigt lave forsoeg paa en dag eller to som man kan med organdonation (ok, de forsoeg tager laengere, men det er mere af logistiske grunde end noget andet hvis man ser bort fra analyse delen). Hvis man vil have et hurtigt resultat kan man selvsagt kun aendre paa noget i 9. klasser 1 maaned foer afgangsproeve og se om det virker - men her ser man naeppe nogen signifikant effekt med mindre tiltaget er ekstremt virkefuldt OG man har en enorm sample. Hvis man vil have et brugbart resultat er man noedt til at lave forsoeget paa en kohorde og saa tracke dem over 10 aar (eller saa afhaengig af hvor forsoeget saettes ind).

Den eneste maade man kan goere dette er ved at give skoler frirum til at eksperimentere lidt hist og her paa baggrund af 1) laerernes erfaring og 2) paedagogisk forskning, og saa evaluere en gang i mellem og finde de tiltag der var mest effektive (omend her er problemstillingen om MAAL igen relevant).

Et godt eksempel: der findes metoder der kan faa din laesecore (en standard formel der giver et vaegtet gennemsnit af hvor hurtigt du laeser * hvor meget du forstod/huskede af teksten) fordoblet ved at traene kun 2 dage, men desvaerre er dette resultat saa transient at du skal traene 1 dage om ugen resten af dit liv for at vedligeholde din score, hvilket goer resultatet ligegyldigt.

Et andet mere bloedt eksempel er en quote fra lederen af en af de "fineste" privatskoler i verden, Chinese International School i Hong Kong (her betaler folk 50,000 USD om aaret for en plads i foerste klasse, og endnu mere for en plads i gymnasie). Rektoren sagde "we could turn out much smarter individuals than we do by making relatively simple changes to our curriculum and teaching, but the problem is that our students would score lower on standardized tests such as the SATs. Therefore we haven't made those changes as students are afraid their low SAT scores would keep them from getting into ivy league schools". Saa her ser man nemt problemstillingen om "maalet".


Hans H. Sievertsen

Hans H. Sievertsen @ d. 24. january 2014 #3

Christian, har du en reference på det der skoleledercitat? Ikke fordi jeg ikke tror på dig, men fordi jeg godt vil bruge det i andre sammenhænge.


Incentive, Virksomhedsprofil

Incentive, Virksomhedsprofil @ d. 24. january 2014 #4

Hej Christian

Jeg er overordnet set enig i det, du skriver. Når jeg appellerer til at lave flere forsøg, så er det ikke en opfordring til at begynde på alverdens finurligheder ude i skolerne. Det er en opfordring til at lave "eksperimenterne hist og her", så man rent faktisk kan evaluere på dem efterfølgende. Dvs. på forhånd tænke ind hvordan man kan kvantificere effekterne efterfølgende hvad der kan bruges som kontrolgruppe osv., så det bliver til forsøg i stedet for "eksperimenter hist og her".

Og så mener jeg selvfølgelig, at ministeren skal lytte til erfaringerne og i høj grad indrette folkeskolen efter det, hvis det giver samfundsøkonomisk mening. Det kunne bl.a. beskæftigelseministeren øve sig i ;-)
http://denkorteavis.dk/2014/var-mette-frederiksen-bevidst-om-at-hun-vildledte-folketinget/


Christian Stassen

Christian Stassen @ d. 24. january 2014 #5

Hhs: Ted Faunce. Det blev sagt i en diskussion mellem Princeton alumne om pensumoptimering i universiteter hvor han brugte dette eksempel.

Jonas, ja enig i at det altid er en god ide at lave kpi (key performance indicators ), det skal enhver virksomhed. Jeg tror dog igen folkeskolen er svaer at goere det i da tidshorisonten er saa lang at det er umuligt at skelne effekt fra aendringer i kultur, samfund osv. Eksempel, indvandrere staver generelt daarligere s,saa et nyt laesesystem indfoert i en periode med stigende indvandring kan virke skidt uden at vaede det (i teorien kan man skelne effekterne fra hinanden men i prakais i noget saa kompliceret er det svaer )

jeg ser dog stadig ikke en situation hvor foraoeg er super brugbare, men giv meget gerne et eksempel


Incentive, Virksomhedsprofil

Incentive, Virksomhedsprofil @ d. 24. january 2014 #6

Et eksempel på at et forsøg (en administrativ regel) kan føre til konkrete politiske implikationer:
http://curis.ku.dk/ws/files/23321756/2003-15.pdf


Hans H. Sievertsen

Hans H. Sievertsen @ d. 24. january 2014 #7

Man kunne indføre den standard, at forskere inddrages i implementeringen af reformer, sådan at der opstår (kvasi-) eksperiementielle settings, som muliggør evaluering senere . Jeg mindes fx at Simon Calmar Andersen (Aarhus Uni) foreslog det i Deadline i forbindelse med skolereformen....


Christian Stassen

Christian Stassen @ d. 24. january 2014 #8

Jonas, det er jo ikke et forsoeg men kohorte analyse?


Christian Stassen

Christian Stassen @ d. 24. january 2014 #9

Ja det er kohorte analyse hvilket lige netop er det du harcelerede mod: )


Tak for din kommentar!
Skriv venligst en kommentar der er længere end 5 tegn

Skriv en kommentar

Log ind for at kommentere - eller opret en bruger

Incentive, Virksomhedsprofil

Incentive blogger om løst og fast