Meten maakt matig

33
Door Mark Sanders
Meten maakt matig
Deze zomer maakten mijn vrouw en ik met de
kinderen een wandeltocht door de Girolata op
Corsica. Laat ik eens beginnen met een bij voorbaat kansloze poging deze wandeling te beschrijven door hem te kwantificeren. We zijn 300 meter
gedaald en vervolgens gestegen. Het uitzicht
waardeer ik op een 9 uit 10 en de temperatuur
was 33 graden Celsius met een zeewind van ongeveer 10 meter per seconde. We hebben 3 kilometer
bergaf en 4 kilometer bergop afgelegd. De temperatuur van het zeewater in de baai onder aan
het pad was 27 graden en we hebben er, met stops,
ruim 4 uur over gedaan. Onderweg liepen we 40%
in de schaduw van de Maquis en 60% in de zon.
En zo kan ik nog wel even doorgaan. Maar wat ik
ook meet en hoeveel kwantitatieve informatie ik
u ook geef, u krijgt daarmee nooit een goed beeld
van de wandeling. Als je probeert een wandeling
met je kinderen in de Girolata te kwantificeren
ben je gek, saai of beide en communiceer je van
alles behalve de essentie van waar het om gaat.
Het plezier van de wandeling: onmeetbaar.
Dat kwantificeren in dit geval onzinnig is ligt er
dik bovenop. Maar in het dagelijks leven, en vooral in management, bestuur en politiek, begaan
we die onzin dagelijks. De macht van het getal is
in onze samenleving bijna onaantastbaar. Als we
iets gemeten hebben weten we wat meer en wat
minder is. De stap naar een oordeel over wat beter
en slechter is, is dan nog maar klein. 500 hoogtemeters en 10 kilometer is nu eenmaal objectief
meer en dus (?) een grotere prestatie. Wie streeft
naar meer en beter voor minder kan na meting
gewoon berekenen wat er moet gebeuren. En dat
is precies wat politici, bestuurders en managers
denken dat er van ze verwacht wordt. Ze vragen
dus om meting en doorrekening en verdedigen
hun besluiten vervolgens met de schijnbaar objectief gemeten uitkomsten. Een eigen politiek oordeel is veel lastiger te verdedigen. Dus schermen
politici met cpb-cijfers en allerhande rankings,
scores en prognoses om hun gelijk te halen en
verantwoording af te leggen.
Maar zoals je de waarde en beleving van een wandeling niet kunt kwantificeren, zo kun je dat ook
niet met de kwaliteit van genoten onderwijs, met
de waarde van goede en liefdevolle zorg, met een
gevoel van veiligheid en de bijdrage van wetenschap en cultuur aan de samenleving. Niet omdat
er geen kwantificeerbare informatie over die onderwerpen te vinden zou zijn, maar omdat deze
altijd de essentie mist. Alles van waarde is onmeetbaar en in de ijver om te meten vergeten we
waar het echt en uiteindelijk om gaat. De kracht
van kwantificering is daarom vaak puur retorisch.
‘Er bestaat geen objectief betere
zorg, beter onderwijs of betere
wetenschap omdat de waarde
van dit soort activiteiten altijd
berust op een subjectief oordeel’
Mark Sanders Meten maakt matig
De onmeetbare waarde van wetenschap
idee oktober 2012 Meten is weten
32
Ben je een goed wetenschapper als je 80 uur per week werkt, 4 tijdschriftartikelen publiceert en minimaal 1 keer per 2 jaar een boek uitbrengt?
Kwaliteit van wetenschappelijk onderzoek is maar moeilijk meetbaar,
zo stelt Mark Sanders, die zich als universitair hoofddocent bezighoudt
met een sterk gekwantificeerd, ‘meetbaar’ thema: de economie.
Toch heeft het kwantificeren ook in de wetenschap toegeslagen. En dat komt niet (per definitie) uit de wetenschappers zelf. Managers en
bestuurders kunnen niet accepteren dat outputs
en inputs niet scheidbaar of meetbaar zijn. Want
als ze dat doen is hun rol grotendeels uitgespeeld.
Dan valt er niets meer te (be)sturen. Zonder informatie, zonder objectief meetbare outputs en inputs, kan een bestuurder niet prikkelen, niet
belonen en niet straffen en dus niet sturen. Dus
maakt de staatssecretaris met de universiteitsbesturen prestatiecontracten met smart-afspraken
die vastleggen hoeveel publicaties, hoeveel derde
geldstroommiddelen (externe financiering van
onderzoek, red.) en hoeveel meetbare onderwijsen onderzoekskwaliteit het Rijk en de hardwerkende Nederlander mogen verwachten voor hun
bijdrage aan de wetenschap. De universiteitsmanagers geleiden deze ‘harde targets’ door naar
de faculteitsbesturen die ze vervolgens aan hun
departementen opleggen. En daar proberen vervolgens de wetenschappers hun werk naar eer
en geweten te blijven doen tegen de stroom van
perverse prikkels en gekwantificeerde ontmoediging in. Ik ga hier nu niet in op de onderwijskant van het verhaal, want dat onderwerp komt
elders in dit nummer al uitgebreid aan bod. Laten
we het voor dit artikel houden bij het wetenschappelijk onderzoek. Want wat mogen we dan wel
van een wetenschapper verwachten?
Ook de economische wetenschap zelf is tot op het
bot gekwantificeerd en wordt dat in toenemende
mate. De ‘output’ van een academicus is natuurlijk lastig te meten. Je ziet ze soms in de krant of
op tv, maar meestal werken ze in hun laboratoria
en kantoren aan ‘kennis’. Maar daarbij gebruiken
ze zoveel van andermans kennis dat het onmogelijk is om de bijdrage van de individuele wetenschapper te isoleren. Daarnaast is wetenschap
geen lineair productieproces. Wetenschappers
gaan 99 van de 100 keer een verkeerde kant op
en de meeste onderzoekslijnen lopen dood of
in cirkels. Maar zonder die 99 experimenten richtingen was de 100ste ook niet gevonden. En vervolgens is de vraag: Wat is die nieuwe kennis
überhaupt waard? We weten dat de wereld er
vandaag heel anders uit zou zien zonder wetenschap, maar wie heeft nu precies welke bijdrage,
wanneer geleverd? De waarde van wetenschap is
Toen in 2005 bij het Max Planck Instituut in
Duitsland bij Prof. David Audretsch in dienst trad
als pas gepromoveerd onderzoeker drukte hij het
als volgt uit: ‘Don’t be an asshole and try to win
the Nobel prize.’ Het duurde even voor het kwartje viel, maar wat hij me zei was dat ik moest proberen belangwekkend onderzoek te doen en
verder vooral binnen de organisatie collegiaal en
coöperatief moest zijn. Wetenschap is een teamsport waarbij de individuele beloning uiteindelijk
ligt in erkenning van en reputatie onder je gelijken. Daarom publiceer je, daarom probeer je studenten bij je onderzoek te betrekken en daarom
Hoe anders is dat nu in Utrecht (en naar ik hoor
op de meeste andere Nederlandse en buitenlandse
universiteiten)? Mijn eigen departement heeft
recent een nieuwe methode ontwikkeld voor het
wegen van publicaties. Dit is overigens de tweede
keer dat dit systeem wordt aangepast sinds ik in
2006 aan mijn huidige baan begon. Toen ik begon
verdienden we met onze publicaties punten.
Die punten werden toegekend via een systematiek
die moest garanderen dat ons onderzoeksprofiel
– multidisciplinaire economie – werd gestimuleerd. Ofwel, je kreeg punten voor bijna alles.
Je kunt immers bijna alles wel multidisciplinaire
economie noemen. Ons departement werd in visitaties echter vergeleken met de andere departementen en met een andere ‘objectievere’ maatstaf
beoordeeld. En dus moesten de bakens verzet.
Het systeem werd ‘verbeterd’ en er werden meer
prikkels aan opgehangen. We kregen alleen nog
punten voor peer-reviewed journals en daarvan
moest je er tenminste één per twee jaar ‘produceren’
om je onderzoekstijd te behouden. Wie niet
aan de norm voldeed moest maar meer onderwijs gaan geven. Maar u moet weten dat er nogal
verschil bestaat tussen journals. The American
Economic Review is echt een andere categorie dan
The Journal of Productivity Analysis’. Door voor alle
journals dezelfde punten toe te kennen en de norm
dwingender op te leggen ontstond echter een
sterke prikkel om de gemakkelijkere journals te
gaan proberen. Ook die perverse prikkel is nu onderkend en het puntensysteem is weer aangepast.
Nu krijgen we voor top-5% journals 20 punten en
voor de rest 10. Of was het nu 30 voor top-5%,
20 voor top-20% en 10 voor de rest? En natuurlijk
gaan we zeer binnenkort de besten nog weer ietsje
meer belonen met promoties, minder onderwijs,
een vast contract of andere voordelen.
Tot ons departement erachter komt dat er naast
publicaties toch ook veel andere activiteiten van
groot belang zijn voor de status van ons instituut
en de reputatie van onze wetenschappers. Want
we hebben goed publicerende wetenschappers,
maar ook wetenschappers die regelmatig op tv
te zien zijn, die bijdragen aan het publieke of politieke debat en academici die onbetaalbaar goed
onderwijs geven aan reguliere studenten, maar
ook volop actief zijn in summer schools en avondonderwijs. Ieder heeft zo zijn taakopvatting van
wat een academicus aan de universiteit dient te
doen. De mijne kent u: ‘Don’t be an asshole and
try to win the Nobelprize.’ Vanuit mijn persoonlijke politieke betrokkenheid probeer ik daar nog
aan toe te voegen: ‘Inform and educate students,
policy makers and the public.’ Daar steek ik niet
de afgesproken 38 uur werktijd in, maar alle tijd
die ik er naast mijn gezin redelijkerwijs in kan
steken. En ik ervaar dat niet als werk.
Uit gesprekken met collega’s weet ik dat dit voor
de beste onderzoekers niet anders is. Je kunt geen
topwetenschap bedrijven zonder sterke intrinsieke
motivatie en de wil en discipline om je onderzoek
met anderen te delen via publicaties maar ook op
andere manieren.
Als ik echter in toenemende mate uitsluitend
gewaardeerd, betaald en gepromoveerd wordt
op basis van het aantal publicaties in een lijst van
journals, dan ontstaan perverse prikkels. Dan ver-
35
In mijn eigen vak, de economische wetenschap,
is kwantificeren tweede natuur. Economen hebben de kosten-baten analyse uitgevonden en die
werkt alleen als kosten en baten netjes in dezelfde,
objectief meetbare eenheid (geld) zijn uitgedrukt.
Een goed voorbeeld van een dergelijke analyse is
het Stern Review. Daarin worden tot ver achter
de komma de kosten en baten van klimaatverandering becijferd. En dit review was enorm invloedrijk in het onderbouwen van het klimaatbeleid
van het Verenigd Koninkrijk. Er kwam schijnbaar
geen subjectief oordeel aan te pas. Stern rekende
gewoon voor dat een ambitieus klimaatbeleid
rationeel is. Dat hij daarbij aannames in zijn rekenmodellen verstopte waarin die uitkomst al
lag opgesloten is maar weinig politici opgevallen.
Dat Stern ‘toevallig’ uitkwam bij het reeds voorgestelde beleid van de Britse regering werd dankbaar gebruikt in het politieke debat. De verleiding
van het getal, van meetbaar en aantoonbaar
‘beter’ beleid, was ze te sterk. Dat er ook een goed
politiek, ethisch en moreel verhaal over klimaatbeleid te houden is, verdween in het politieke
debat helemaal naar de achtergrond.
werk je vaak 80 uur in de week. Maar je kwaliteit
als wetenschapper laat zich daarmee nog niet
vangen in de gewerkte uren, de gelezen of gepubliceerde bladzijden en de contactmomenten
met studenten, pers of buitenwacht.
Er werd bij Max Planck natuurlijk ook gemeten.
Elke week hing de publicatie- en citatielijst op het
bord en de vlag ging uit als er iemand een klapper
maakte. Maar er was geen extra salaris, geen
bonus, geen minimumnorm en geen tenure track.
En de administratie zat in een ander gebouw en
mocht zich vooral niet met ‘kwaliteitsmeting’
bemoeien. In plaats daarvan kwam er eens in de
zoveel tijd een visitatie van gewaardeerde wetenschappers die zich een subjectief oordeel kwamen
vormen. En ondertussen kreeg je alle kansen,
mogelijkheden en middelen en was het dus ook
je eigen schuld als je er niets van bakte. Als je
slim was werkte je met de toponderzoekers samen
zodat je van hen het trucje kon afkijken. Maar bovenal creëerde die niet vrijblijvende academische
vrijheid een atmosfeer waarin goed – bij voorkeur
goed publiceerbaar – onderzoek en een brede academische interesse en instelling werden gewaardeerd. Mijn output werd niet gemeten dus, maar
door je collega’s en leidinggevenden op waarde
geschat.
Mark Sanders Meten maakt matig
inherent onmeetbaar en alleen wetenschappers
zelf kunnen bij benadering (subjectief ) beoordelen wat wel en wat geen bijdrage was aan
hun vakgebied.
idee oktober 2012 Meten is weten
34
Er bestaat geen objectief betere zorg, beter onderwijs of betere wetenschap omdat de waarde van
dit soort activiteiten altijd berust op een subjectief oordeel.
De afstand tot verre sterrenstelsels kunnen we
afleiden uit het licht dat we van deze objecten
ontvangen. We leven namelijk in een uitdijend
heelal, waarin de afstanden tussen sterrenstelsels steeds groter worden. De snelheid waarmee
andere sterrenstelsels van ons vandaan bewegen
is direct gerelateerd aan de afstanden tot deze
sterrenstelsels. Des te verder het sterrenstelsel,
des te groter is de snelheid. Vergelijkbaar met het
geluid van een trein die zich van ons afbeweegt,
is het licht van deze sterrenstelsels beïnvloed
door de snelheid. Dit effect zorgt ervoor dat het
licht wordt ‘verrood’. Door deze verroding te meten, kunnen we de snelheid en dus de afstand tot
het sterrenstelsel bepalen. Met behulp van deze
meetmethode kunnen we de
afstanden meten tot sterrenstelsels meer dan 13
miljard lichtjaar van ons vandaan, toen het heelal
slechts 0.5 miljard oud was. Meten is dus zeker
weten in mijn beroep.
Laat ik u ter afsluiting proberen over te brengen
waarin de waarde van een wandeling in de
Girolata ligt. Omdat mijn jongste (4) ‘benenpijn’
had moest ik alles uit de kast trekken om haar
te motiveren om door te lopen. Magisch bergwater uit een bron, eindeloos sprookjes vertellen
uit je hoofd, liedjes zingen en praten als brugman.
Maar na afloop zeer voldaan een appelsap en een
ijsje voor de kleine berggeit en een grote koude
Pietra voor de oude bok. Kosten voor ons en daarmee de bijdrage aan het Corsicaanse bnp: minder
dan 10 euro. Waardecreatie: oneindig veel hoger
en niet in geld, meters of graden uit te drukken.
Maar oordeelt u vooral ook zelf als u er ooit komt.
37
Mark Sanders Meten maakt matig
Meten is weten in mijn beroep omdat we het
Heelal alleen maar kunnen begrijpen door het
te meten. Astronomen brengen het heelal in kaart
met behulp van het licht dat we waarnemen van
sterren en sterrenstelsels. Een sterrenstelsel is een
groep van sterren die bij elkaar worden gehouden
door zwaartekracht. Onze Melkweg is een voorbeeld van een sterrenstelsel. Het licht van sterren
en sterrenstelsels heeft vaak miljoenen of zelfs
miljarden jaren gereisd voordat het onze aarde
bereikt. Dit licht vertrok dus miljoenen of miljarden jaren geleden van deze sterren of sterrenstelsels en daardoor kunnen we het heelal meten
en bestuderen toen het jonger was dan vandaag.
Dit geeft ons dus een directe blik op de geschiedenis van het heelal.
dringen externe prikkels de intrinsieke motivatie
en richt je je op het schrijven van marginale bijdragen in journals waarvan je de editor kent of
bent. Dan zetten goede vrienden elkaar in de lijst
van auteurs, citeren en downloaden ze elkaar nog
eens extra en nodigen ze elkaar uit voor het volgende special issue in de reeks. Tijd om je collega’s
een handje te helpen, om goed onderwijs te ontwikkelen of het publiek te informeren, om je
te bemoeien met een verkiezingsprogramma of
om een artikel in Idee (geen punten) te schrijven
is er dan natuurlijk niet. Dat los je niet op met
meer of beter of anders meten. Als je stuurt op
meetbare output verlies je de essentie uit het oog.
Je trekt de assholes in de wetenschap en duwt er
de Nobelprijswinnaars uit. En ik ben bang dat
dit in de zorg, onderwijs, politie en politiek niet
anders is. Professionals oordelen zelf en leggen
verantwoording af. Als je die gaat aansturen als
fabrieksarbeiders dan houd je uiteindelijk een
onmeetbaar slechtere kwaliteit over en je kunt
niet meer terug.
Mark Sanders is universitair docent economie aan
de Universiteit Utrecht en redactieraadslid van Idee.
Mariska Kriek
Astronoom
idee oktober 2012
36
Licht van sterren