Tilburg University De kwaliteit van ons onderzoek

Tilburg University
De kwaliteit van ons onderzoek
van Damme, Eric
Published in:
Economisch Statistische Berichten
Document version:
Publisher's PDF, also known as Version of record
Publication date:
2009
Link to publication
Citation for published version (APA):
van Damme, E. E. C. (2009). De kwaliteit van ons onderzoek. Economisch Statistische Berichten, 94(4594),
591-591.
General rights
Copyright and moral rights for the publications made accessible in the public portal are retained by the authors and/or other copyright owners
and it is a condition of accessing publications that users recognise and abide by the legal requirements associated with these rights.
- Users may download and print one copy of any publication from the public portal for the purpose of private study or research
- You may not further distribute the material or use it for any profit-making activity or commercial gain
- You may freely distribute the URL identifying the publication in the public portal
Take down policy
If you believe that this document breaches copyright, please contact us providing details, and we will remove access to the work immediately
and investigate your claim.
Download date: 18. jul. 2017
column
Eric van Damme
De kwaliteit van ons onderzoek
In een zesjarige cyclus wordt al het ­wetenschappelijk
onderzoek in Nederland geëvalueerd volgens het
Standaard Evaluatie Protocol (SEP). Onlangs was
Economie en Bedrijfswetenschappen aan de beurt.
Een commissie onder leiding van de Gentse hoogleraar
Van Dierdonck beoordeelde de output van 54 onder­
zoeksgroepen op de criteria kwaliteit, productiviteit,
relevantie en levensvatbaarheid, waarbij cijfers van 1
(onvoldoende) tot en met 5 (excellent) gegeven konden
worden. Hoe staat ons onderzoek ervoor?
De resultaten zullen pas later bekend worden, maar
het verleden biedt de beste voorspelling voor de toe­
komst. De vorige onderzoeksvisitatie was in 2002, toen
zestig economieprogramma’s en twintig in bedrijfs­
wetenschappen beoordeeld werden, waarvan er tien,
respectievelijk drie, het predicaat excellente kwaliteit
kregen. Dit suggereert dat het Nederlandse onderzoek
in ons vakgebied er goed voor staat, zeker gezien de
definitie die het SEP voor excellent hanteert: “The
program makes important and innovative contributions
to its field. It is among the world leading programs in
its field.”
Interessant is dat het aantal programma’s terugloopt:
bij de visitatie in 1995 waren er alleen voor economie
nog negentig. Tegelijkertijd neemt het aantal goede
programma’s toe. De onderzoeksvisitatie lijkt zijn nut
te bewijzen, de economische wetten lijken ook hier te
werken. Minder goede programma’s worden beëindigd,
middelen geheralloceerd, en de kwaliteit stijgt. Dat is
althans wat de commissie beweert, maar dat hoeft niet
objectief te zijn: iemand die het nut van de exercitie
niet ziet, zal niet in de commissie plaats nemen. Grade
inflation is een alternatieve hypothese.
Het selectie-effect van de visitatie is beperkt omdat
de onderzoekers zelf er zich weinig van aantrekken
en er geen directe financiële consequenties aan de
visitatie verbonden zijn. Er gaat geen geld van de ene
faculteit naar een betere; op lokaal niveau kunnen de
bestuurders wel met mindere goden schuiven, maar
ze moeilijk ontslaan. Bovendien concurreren facultei­
ten vooral op de onderwijsmarkt, waar het geld zit,
zodat zelfs interne herschikking van taken lastig is.
Studenten willen de beste docenten zien, en de beste
onderzoekers zijn ook de beste docenten. Een vraag is
of sterkere financiële prikkels niet tot meer kwaliteits­
verbetering zouden leiden.
In Engeland kent men een vergelijkbare peer review,
maar dan wel met landelijke herverdeling. De sterkere
financiële prikkels hebben nadelen, maar ook onbe­
doelde positieve neveneffecten. Engelse economen
onderzoeken nu serieus wat onder kwaliteit van onder­
zoek verstaan moet worden en of visitatiecommissies
deze wel op de juiste wijze meten. Hier werkt echte
concurrentie. De dreiging de eigen tent te moeten
sluiten verhoogt de productiviteit en lokt creativiteit
uit. Engeland houdt ons een interessante spiegel voor.
Kunnen we nu werkelijk verwachten dat vijftien procent
van ons onderzoek van wereldklasse is? Opvallend is
dat het SEP het begrip world leading niet definieert;
het begrip is dus rekbaar, ook naar beneden. In een
recent artikel stelt Andrew Oswald daar tegenover dat
vooral naar boven gekeken moet worden. Zijn idee is
dat alleen artikelen die een vakgebied beïnvloeden
er echt toe doen. Het gaat niet om artikelen die iets
bijdragen, maar om papers die iets fundamenteels
toevoegen. De bijdrage van een onderzoekspaper (geen
survey) kan, op termijn, worden afgelezen aan het
aantal citaten dat deze genereert.
In deze visie is kwaliteit bruikbaarheid, gemeten als het
aantal keer dat een artikel door andere wetenschappers
geciteerd wordt. Waardevolle artikelen zijn dan artike­
len die veel geciteerd worden, en fundamentele bijdra­
gen zijn de, zeg, vijf procent meest geciteerde binnen
een vakgebied. Gemiddeld gaat het dan om ongeveer
vijftig artikelen per jaar, één waardevol idee per week
dat alle economen bij elkaar weten te produceren.
Hoeveel van deze komen uit Nederland?
Oswald (2009) geeft het antwoord voor de periode
2001–2008, het tijdvak van de laatste onderzoeks­
evaluatie in het Verenigd Koninkrijk. Van de 450
waardevolle artikelen die toen wereldwijd gepubliceerd
werden, kwam ongeveer tien procent uit het Verenigd
Koninkrijk, iets meer uit de rest van Europa en één
procent (vier artikelen) uit Nederland. Een ontnuch­
terende boodschap: al die Nederlandse onderzoekers
samen produceren gemiddeld een half waardevol idee
per jaar. Ter vergelijking: Oxford en de LSE publiceren
er elk bijna drie keer zo veel per jaar.
Onderzoek en onderzoeksvisitaties dwingen tot
nadenken. Wat wil Nederland bereiken? Is meedoen
voldoende, of wil men de richting meebepalen? Zet
men de middelen goed in, of is academisch onderzoek
zwaar werk, zodat degenen die met veertig jaar nog
geen waardevolle bijdragen hebben geleverd, beter iets
anders kunnen gaan doen? Gespreksstof genoeg als
straks de euforie losbarst, de vijven weer worden uitge­
deeld en de succesvolle programmaleiders, terecht, op
champagne worden getrakteerd.
Literatuur
Oswald, A. (2009) A suggested method for the measurement of
world-leading research (illustrated with data on economics). IZA
discussiedocument 4313, Bonn: IZA.
De auteur heeft verklaard dit artikel alleen te publiceren in ESB en niet elders
te publiceren in wat voor medium dan ook. Het is wel toegestaan om het artikel voor eigen gebruik
en voor publicatie op een intranet van de werkgever van de auteur aan te wenden.
ESB
94(4569) 2 oktober 2009
591