NAAR EEN RAAMWERK VOOR DE KWALITEITSBEOORDELING

NAAR EEN RAAMWERK VOOR DE KWALITEITSBEOORDELING VAN
SOCIAALWETENSCHAPPELIJK ONDERZOEK
voetregel
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 1
1
2/20/2013 4:16:30 PM
2013 Koninklijke Nederlandse Akademie van Wetenschappen (KNAW)
© Sommige rechten zijn voorbehouden / Some rights reserved
Voor deze uitgave zijn gebruiksrechten van toepassing zoals vastgelegd in de Creative
Commons licentie. [Naamsvermelding 3.0 Nederland]. Voor de volledige tekst van deze
licentie zie http://www.creativecommons.org/licenses/by/3.0/nl/
Koninklijke Nederlandse Akademie van Wetenschappen
Postbus 19121, 1000 GC Amsterdam
Telefoon + 31 20 551 0700
Fax + 31 20 620 4941
[email protected]
www.knaw.nl
pdf beschikbaar op www.knaw.nl
Basisvormgeving: edenspiekermann, Amsterdam
Opmaak: Ellen Bouma, Alkmaar
Illustratie omslag: Shutterstock
ISBN 978-90-6984-667-5
Het papier van deze uitgave voldoet aan ∞ iso-norm 9706 (1994) voor permanent
houdbaar papier.
voetregel
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 2
2/20/2013 4:16:30 PM
naar een raamwerk voor de
kwaliteitsbeoordeling
van sociaalwetenschappelijk onderzoek
Koninklijke Nederlandse Akademie van Wetenschappen
Commissie ‘Kwaliteitsindicatoren sociale wetenschappen’
Maart 2013
voetregel
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 3
2/20/2013 4:16:30 PM
4
naar een raamwerk voor de kwaliteitsbeoordeling
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 4
2/20/2013 4:16:30 PM
voorwoord
Het Nederlands Observatorium van Wetenschap en Technologie (NOWT) stelde tot en
met 2010 voor het ministerie van OCW de tweejaarlijkse publicatie Wetenschaps- en
Technologie Indicatoren op. Die indicatoren, ontwikkeld op basis van bibliometrische
analyse, spelen ook een rol in de kwaliteitsbeoordeling van wetenschap.
Drie wetenschappelijke gemeenschappen – die van de ontwerpende en construerende disciplines, de geesteswetenschappen en de sociale wetenschappen – menen
dat de indicatoren uit de Observatoriumrapporten een onvolledig beeld geven van de
ontwikkeling van hun vakgebieden en minder goed toepasbaar zijn voor de kwaliteitsbeoordeling. Zij hebben er bij het bestuur van de KNAW op aangedrongen de beoordelingscriteria voor hun vakgebieden nader te verbijzonderen.
Voor u ligt het derde luik van de triptiek. Het eerste luik wordt gevormd door het
KNAW-adviesrapport over kwaliteitsbeoordeling in de ontwerpende en construerende
disciplines. Het tweede is het KNAW-adviesrapport over kwaliteitsindicatoren voor
onderzoek in de geesteswetenschappen. In dit derde, laatste luik adviseert de KNAW
over kwaliteitsbeoordeling van sociaalwetenschappelijk onderzoek.
Als het drieluik wordt uitgeklapt, kan men niet anders dan onder de indruk zijn van
de grote verscheidenheid van de wetenschap. Maar de adviesrapporten geven ook aan
dat wetenschap regelmatige kwaliteitsbeoordeling behoeft. Niet in de laatste plaats
omdat de samenleving moet kunnen rekenen op een goede borging van de wetenschappelijke kwaliteit van het onderzoek dat door publieke middelen wordt bekostigd.
Bij nadere bestudering hebben de luiken gemeen dat ze in wezen dezelfde benadering hebben van het proces van de kwaliteitsbeoordeling. Daarin hebben de peers een
essentiële rol. Zij vormen de kwaliteitscultuur in een vakgebied. Dit legt grote verantwoordelijkheid op hun schouders: zij behoren transparant te maken wat de missie,
doelgroepen en manieren van communicatie van onderzoeksgroepen binnen het vakgebied zijn. En als zij denken dat er iets niet pluis is, moeten ze aan de bel trekken. Dit
komt het vertrouwen in de wetenschap in alle lagen van de maatschappij ten goede.
voorwoord
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 5
5
2/20/2013 4:16:30 PM
Een andere overeenkomst van de drie luiken is dat kwaliteitsbeoordeling zich
richt op twee kwaliteitsdomeinen: ‘wetenschappelijke kwaliteit’ en ‘maatschappelijke
relevantie’, en binnen elk van deze domeinen op drie beoordelingsdimensies: ‘aantoonbare productiviteit’, ‘aantoonbaar gebruik’ en ‘aantoonbare blijken van erkenning’.
Binnen deze set algemeen geldende beoordelingscriteria hebben onderzoekers en
onderzoeksgroepen het recht, maar ook de plicht om eigen kwaliteitsindicatoren en
hun gewichten te expliciteren die passend zijn voor het eigen vakgebied, en daarover
verantwoording af te leggen. Ik ga er ervan uit dat de vakgebieden binnen de sociale
wetenschappen met de zes beoordelingscriteria aan de slag gaan.
Hans Clevers
President KNAW
6
naar een raamwerk voor de kwaliteitsbeoordeling
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 6
2/20/2013 4:16:30 PM
voorwoord 5
samenvatting 8
inhoud
1. inleiding 11
2. de kwaliteit van sociaalwetenschappelijk
onderzoek 15
Informele beoordeling: peers spelen essentiële rol 15
Formele beoordelingen: vergelijking tussen groepen 16
Kwaliteit vergelijken is maatwerk 17
Verantwoordelijkheidsverdeling 19
Beoordelingssystematiek 20
Kwaliteitsdomeinen 20
Beoordelingsdimensies 22
De beoordelingscriteria voor sociaalwetenschappelijk onderzoek 23
3. beoordelingscriteria voor de kwaliteit van
sociaalwetenschappelijk onderzoek 19
4. voorbeelden van kwaliteitsindicatoren
voor de sociale wetenschappen 25
5. toepassing van het voorgestelde raamwerk:
enkele voorbeelden 28
6. aanbevelingen 33
Vervolgstap nodig 33
Algemene uitgangspunten bij kwaliteitsbeoordelingen 34
bronnen 38
bijlagen
1. Instellingsbesluit Commissie ‘Kwaliteitsindicatoren sociale wetenschappen’ 39
2. Enkele buitenlandse ervaringen met ‘maatschappelijke relevantie’ bij
kwaliteitsbeoordelingen 44
inhoud
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 7
7
2/20/2013 4:16:30 PM
samenvatting
Achtergrond
De afgelopen jaren hebben zich binnen de wetenschap ontwikkelingen voorgedaan die
ook consequenties hebben voor de formele kwaliteitsbeoordeling van sociaalwetenschappelijk onderzoek. In de eerste plaats wordt steeds meer de noodzaak
erkend om in de kwaliteitsbeoordeling van wetenschappelijk onderzoek rekening te
houden met de verschillen tussen en binnen vakgebieden. Dit klemt temeer voor de
sociale wetenschappen, omdat er zo’n breed palet aan sociale wetenschappen bestaat
en de verschillen tussen de vakgebieden binnen de sociale wetenschappen bovendien groot zijn. In de tweede plaats heeft de toenemende aandacht voor valorisatie
van wetenschappelijke kennis de discussie over de maatschappelijke relevantie van
wetenschappelijk onderzoek verbreed en verdiept, en de vraag naar een grotere zichtbaarheid van zowel de wetenschappelijke kwaliteit als de maatschappelijke relevantie
actueel gemaakt. De aandacht voor valorisatie raakt in het bijzonder de beoordelingsdiscussie in de sociale wetenschappen, omdat de maatschappelijke relevantie van
sociaalwetenschappelijk onderzoek niet alleen en zelfs niet voornamelijk in ‘geldelijk
gewin’ kan worden uitgedrukt. En in de derde plaats is er in het ‘veld’ van onderzoekers een groeiende onvrede merkbaar met de neiging bij beoordelaars om de kwaliteit
van wetenschappelijk onderzoek eendimensionaal en vooral in kwantitatieve termen
uit te drukken en daarbij bovendien het adagium ‘more is better’ te hanteren.
Deze ontwikkelingen rechtvaardigen een herbezinning op de wijze waarop de
kwaliteit van sociaalwetenschappelijk onderzoek wordt beoordeeld. Naar aanleiding
hiervan heeft de KNAW in oktober 2011 een Commissie ‘Kwaliteitsindicatoren sociale
wetenschappen’ ingesteld met als taakopdracht een adviesrapport voor te bereiden dat
instanties die met beoordeling van sociaalwetenschappelijk onderzoek te maken hebben, handvatten aanreikt voor het opstellen van goede beoordelingsinstrumenten en in
het bijzonder kwaliteitsindicatoren op het gebied van de sociale wetenschappen. Het
beoogde effect is dat deze beoordelingsinstanties het advies uitwerken en betere beoordelingsinstrumenten hanteren.
In het voorliggende adviesrapport stelt de commissie een raamwerk voor de kwaliteitsbeoordeling van sociaalwetenschappelijk onderzoek op dat voor verschillende vakgebieden binnen de sociale wetenschappen verder kan worden ingevuld. Dit is gebeurd
op basis van voorhanden literatuur, een (beperkte) inventarisatie van ervaringen in het
buitenland, en discussiebijeenkomsten met decanen, onderzoeksdirecteuren en vertegenwoordigers van beroepsverenigingen op het gebied van de sociale wetenschappen,
8
naar een raamwerk voor de kwaliteitsbeoordeling
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 8
2/20/2013 4:16:30 PM
en met leden van de Sociaal-Wetenschappelijke Raad van de KNAW. Ook binnen de commissie zelf zijn levendige discussies gevoerd.
Dit adviesrapport draagt met reden de titel Naar een raamwerk voor de kwaliteitsbeoordeling van sociaalwetenschappelijk onderzoek: het geeft geen kant-en-klaar
beoordelingssysteem, maar een kader waarbinnen bestuurders én onderzoekers
kwaliteitsbeoordelingen in de sociale wetenschappen vorm en inhoud kunnen geven. De
achtergrond hiervoor is enerzijds gelegen in de wens recht te doen aan de grote diversiteit in kwaliteitsculturen binnen de sociale wetenschappen en anderzijds in de door de
commissie vastgestelde noodzaak dat de onderzoekers in de diverse vakgebieden zelf
verantwoordelijkheid nemen voor het zichtbaar en toetsbaar maken van de kwaliteit in
het eigen vakgebied. Dat betekent echter niet dat dit adviesrapport vrijblijvend is.
Uitgangspunten met een algemeen geldende waarde bij
kwaliteitsbeoordelingen
Het adviesrapport doet heldere uitspraken over de uitgangspunten voor de kwaliteitsbeoordeling van sociaalwetenschappelijk onderzoek. De volgende uitgangspunten hebben
een algemeen geldende waarde bij kwaliteitsbeoordelingen:
• De kwaliteitsbeoordeling betreft een set algemeen geldende beoordelingscriteria,
waarbinnen specifieke kwaliteitsindicatoren en hun gewichten kunnen worden
geïdentificeerd en geëxpliciteerd. Op deze wijze wordt recht gedaan aan twee
gerechtvaardigde wensen die op het eerste gezicht strijdig zijn: de wens van onderzoeksgroepen op hun eigen missie en kwaliteitscultuur te worden beoordeeld, én de
wens van bestuurders om te vergelijken tussen onderzoeksgroepen ter ondersteuning van strategische beslissingen over de inzet van menskracht en middelen.
• De kwaliteitsbeoordeling richt zich op twee kwaliteitsdomeinen: ‘wetenschappelijke
kwaliteit’ en ‘maatschappelijke relevantie’, en binnen elk van deze domeinen op drie
beoordelingsdimensies: ‘aantoonbare productiviteit’, ‘aantoonbaar gebruik’ en ‘aantoonbare blijken van erkenning’.
• Binnen de set algemeen geldende beoordelingscriteria hebben onderzoekers/onderzoeksgroepen het recht, maar ook de plicht om eigen kwaliteitsindicatoren en hun
gewichten te expliciteren die passend zijn voor het eigen vakgebied, en daarover
verantwoording af te leggen.
• Prestaties op de kwaliteitsindicatoren dienen transparant, traceerbaar en toetsbaar
te zijn.
• Beoordelaars toetsen de gekozen kwaliteitsindicatoren en hun gewichten
onder andere op ambitieniveau, en beoordelen de geleverde prestaties op deze
indicatoren. Bij deze beoordeling is niet zozeer de kwantiteit van een enkele
parameter belangrijk, maar de balans van alle zes beoordelingscriteria. En dit
is niet zozeer van toepassing op de individuele onderzoeker, maar wel op de
onderzoeksgroep.
• De ontwikkelingsfase van onderzoeker en onderzoeksgroep worden in de
beoordeling meegewogen.
samenvatting
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 9
9
2/20/2013 4:16:30 PM
• Prestaties op de kwaliteitsindicatoren voor maatschappelijke relevantie tellen
pas mee wanneer ze berusten op en traceerbaar zijn naar kwalitatief goede
wetenschappelijke producten.
Met deze uitgangspunten zijn de contouren van de beoordelingssystematiek geschetst.
Of en hoe deze beoordelingssystematiek in de praktijk te brengen is, is afhankelijk van
de wijze waarop het veld van de sociale wetenschappen er mee aan de slag gaat. Dit
adviesrapport is zodanig opgesteld dat het handvatten biedt voor meerdere soorten kwaliteitsbeoordelingen: jaargesprekken met wetenschappelijke medewerkers,
benoemingen van hoogleraren, facultair investeringsbeleid, landelijke onderzoeksvisitaties, etc. De opdracht aan het veld van de sociale wetenschappen is om met de
geschetste methodiek te experimenteren, zodat met concrete ervaringen invulling
kan worden gegeven aan het nieuwe Standard Evaluation Protocol (SEP), dat in 2015
ingaat.
Vervolgstap nodig
Teneinde de landelijke kwaliteitsbeoordelingen te stroomlijnen, roept het adviesrapport de decanen en de onderzoeksdirecteuren op het gebied van de sociale wetenschappen – maar evenzeer de visitatiecommissies en niet in de laatste plaats de
onderzoekers zelf – op de uitgangspunten voor de kwaliteitsbeoordeling van sociaalwetenschappelijk onderzoek te onderschrijven en concreet aan het werk te gaan met
het voorgestelde raamwerk voor de kwaliteitsbeoordeling.
Daarbij krijgen de opdrachtgevers voor de kwaliteitsbeoordelingen, doorgaans de
(gezamenlijke) decanen op het gebied van de sociale wetenschappen of hun onderzoeksdirecteuren, als motto mee: “Opdrachtgevers voor de kwaliteitsbeoordelingen
zijn ervoor verantwoordelijk dat er een kwaliteitsbeoordelingssysteem is, en doen
recht aan inhoudelijke verschillen tussen vakgebieden”. De te evalueren onderzoekseenheden – dit zijn doorgaans onderzoeksgroepen bij universiteiten of onderzoeksinstituten op het gebied van de sociale wetenschappen – krijgen als motto mee: “De
te evalueren onderzoekseenheden hebben het recht op eigen kwaliteitsindicatoren
en hun gewichten, maar ook de plicht daarover verantwoording af te leggen”. En de
visitatiecommissies krijgen als motto mee: “De visitatiecommissies beoordelen de
kwaliteit van het wetenschappelijk onderzoek binnen de context van de missie van de
onderzoekseenheid en stellen vooraf het instrumentarium daarvoor vast. Kwaliteit is
niet identiek aan kwantiteit”.
10
naar een raamwerk voor de kwaliteitsbeoordeling
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 10
2/20/2013 4:16:30 PM
1. inleiding
De wetenschap, de politiek en de samenleving hebben behoefte aan objectieve maatstaven die de kwaliteit van wetenschappelijk onderzoek vaststellen. Regelmatig moeten beslissingen worden genomen waarbij informatie over de kwaliteit van het werk
van onderzoekers een rol speelt. Bijvoorbeeld: bij de verdeling van menskracht en
middelen, de opbouw of afbouw van onderzoekszwaartepunten, de ontwikkeling van
nieuwe innovatieprogramma’s, de toekenning van projectsubsidies, en bij persoonsgerichte beslissingen, zoals hoogleraarsbenoemingen en beslissingen over wetenschappelijke prijzen of andere blijken van wetenschappelijke erkenning. Zonder goede indicatoren voor de kwaliteit van wetenschappelijk onderzoek is het risico aanwezig dat
dergelijke beslissingen vooral op toevallige, pragmatische of politieke gronden worden
genomen. Er is, kortom, een groot, gemeenschappelijk belang voor zowel de academische wereld als voor de samenleving als geheel, om de kwaliteit van wetenschappelijk
onderzoek transparant en toetsbaar te maken.
Ten behoeve van de formele kwaliteitsbeoordeling van wetenschappelijk onderzoek heeft de KNAW in 2005 het adviesrapport Judging research on its merits uitgebracht. Daarin werd geconstateerd dat de missie, doelgroepen en communicatiewijzen van onderzoeksgroepen binnen en tussen onderzoeksterreinen enorm kunnen
variëren. Onderzoekers richten zich in eerste instantie op het wetenschappelijk forum,
maar hun onderzoeksbevindingen kunnen ook relevant zijn voor andere doelgroepen:
studenten, beleidsmakers, het bedrijfsleven, vakspecialisten en het bredere publiek.
Dit vraagt om een diversiteit aan publicatievormen. Het adviesrapport constateerde
dat bij de kwaliteitsbeoordeling van wetenschappelijk onderzoek alle relevante doelgroepen in aanmerking moeten worden genomen (KNAW, 2005, blz. 27).
Sinds het uitbrengen van het adviesrapport hebben zich binnen de wetenschap,
en zeker ook binnen de sociale wetenschappen1, ontwikkelingen voorgedaan die
1 We vatten de sociale wetenschappen hier op als een breed opgezet cluster van gammawetenschappen ofwel gedrags- en maatschappijwetenschappen, variërend van economie tot
politicologie, van psychologie tot demografie, van rechtswetenschap tot antropologie.
inleiding
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 11
11
2/20/2013 4:16:31 PM
consequenties hebben voor de formele kwaliteitsbeoordeling van wetenschappelijk
onderzoek. In de eerste plaats wordt steeds meer de noodzaak erkend om in de kwaliteitsbeoordeling van wetenschappelijk onderzoek rekening te houden met de verschillen tussen en binnen vakgebieden. Dit klemt temeer voor de sociale wetenschappen, omdat er zo’n breed palet aan sociale wetenschappen bestaat en de verschillen
tussen de vakgebieden2 binnen de sociale wetenschappen bovendien groot zijn. Mede
in verband met die verschillen hebben onder meer de universitaire bestuurders op
het gebied van de sociale wetenschappen behoefte aan een beoordelingskader voor
sociaalwetenschappelijk onderzoek dat recht doet aan deze diversiteit. Verder heeft
de toenemende aandacht voor valorisatie van wetenschappelijke kennis3 de discussie over de maatschappelijke relevantie van wetenschappelijk onderzoek verbreed en
verdiept, en de vraag naar een grotere zichtbaarheid van zowel de wetenschappelijke
kwaliteit als de maatschappelijke relevantie actueel gemaakt. De aandacht voor valorisatie raakt in het bijzonder de beoordelingsdiscussie in de sociale wetenschappen,
omdat de maatschappelijke relevantie van sociaalwetenschappelijk onderzoek niet
alleen en zelfs niet voornamelijk in ‘geldelijk gewin’ kan worden uitgedrukt. Tenslotte
is er in het ‘veld’ van onderzoekers een groeiende onvrede merkbaar met de neiging
bij beoordelaars om de kwaliteit van wetenschappelijk onderzoek eendimensionaal en
vooral in kwantitatieve termen uit te drukken en daarbij bovendien het adagium ‘more
is better’ te hanteren. Dat gaat voorbij aan de kwaliteit van de inhoud van het verrichte
onderzoek.
De geschetste ontwikkelingen rechtvaardigen een herbezinning op de wijze waarop de
kwaliteit van sociaalwetenschappelijk onderzoek wordt beoordeeld.
In navolging van het onder auspiciën van de Sociaal-Wetenschappelijke Raad uitgegeven rapport Begrip van evalueren (De Groot, 1986) is het zinvol bij kwaliteitsbeoordelingen in de wetenschap een verschil te maken tussen:
a. Ex ante kwaliteitsbeoordeling van wetenschappelijk onderzoek: het vooraf inschatten van de kans dat een nieuw onderzoeksproject of -programma een wezenlijke
bijdrage zal leveren aan de stand van kennis op het vakgebied of kan bijdragen aan
de oplossing van maatschappelijke vraagstukken. Het gaat hierbij vooral om het
herkennen en erkennen van ‘beloftes’.
b. Ex post kwaliteitsbeoordeling van wetenschappelijk onderzoek: de retrospectieve
beoordeling van het wetenschappelijke werk van onderzoekers of onderzoeksgroepen, onder meer in het kader van onderzoeksvisitaties of van toekenningen van
wetenschappelijke prijzen of andere blijken van erkenning. Het gaat hierbij vooral
om het evalueren en waarderen van verricht wetenschappelijk werk.
In de praktijk is er vaak sprake van een combinatie van beide. Bijvoorbeeld bij de
2 Hier kan ook bijvoorbeeld ‘onderzoeksgebieden’, ‘disciplines’ of ‘subdisciplines’ worden
gelezen.
3 Zo is bijvoorbeeld een streefdoel voor de wetenschap de valorisatie te versterken door in
2016 2,5% van de publieke onderzoeksmiddelen voor valorisatie in te zetten (Rijksbegroting
Onderwijs, Cultuur en Wetenschappen, 2012, blz. 17).
12
naar een raamwerk voor de kwaliteitsbeoordeling
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 12
2/20/2013 4:16:31 PM
beoordeling van het wetenschappelijke werk van onderzoekers in het kader van
benoemingen en persoonsgebonden subsidies, zoals de Vernieuwingsimpuls. Of
bijvoorbeeld bij een mid term review waar, afhankelijk van de kwaliteitsbeoordeling
gedurende het onderzoek, het lopende onderzoek dan wel de ambities ervan worden
bijgesteld.
Dit adviesrapport is voorbereid door de Commissie ‘Kwaliteitsindicatoren sociale
wetenschappen’. Het geeft handvatten aan instanties die met de beoordeling van sociaalwetenschappelijk onderzoek te maken hebben. Het rapport helpt bij het opstellen
van goede beoordelingsinstrumenten en kwaliteitsindicatoren (zie het Instellingsbesluit van de commissie in bijlage 1).
De commissie heeft binnen haar taakopdracht een raamwerk opgesteld dat voor
verschillende vakgebieden binnen de sociale wetenschappen verder kan worden ingevuld. Het raamwerk doet recht aan de diversiteit binnen de sociale wetenschappen,
en aan de wetenschappelijke kwaliteit en de maatschappelijke relevantie van sociaalwetenschappelijk onderzoek. Omdat kwaliteitsbeoordeling kan gaan om de beoordeling van het wetenschappelijke werk van onderzoekers of onderzoeksgroepen, is het
raamwerk van toepassing op de ‘onderzoeker’ en op de ‘onderzoeksgroep’.
In het kader van haar taakopdracht heeft de commissie de literatuur bestudeerd
(een selectie daarvan staat vermeld in ‘Bronnen’) op het gebied van de kwaliteitsbeoordeling van de sociale wetenschappen en van andere disciplines. Belangrijk waren
de adviesrapporten Kwaliteitsbeoordeling in de ontwerpende en construerende disciplines en Kwaliteitsindicatoren voor onderzoek in de geesteswetenschappen (KNAW, 2010
en 2011). Voor de sociale wetenschappen is een (beperkte) inventarisatie gemaakt
van ervaringen in het buitenland met beoordeling van de maatschappelijke relevantie
van onderzoek (zie bijlage 2). Daarnaast voerde de commissie discussiebijeenkomsten
over het concept met decanen, onderzoeksdirecteuren en vertegenwoordigers van
beroepsverenigingen op het gebied van de sociale wetenschappen, en met leden van
de Sociaal-Wetenschappelijke Raad van de KNAW. Ten slotte heeft de commissie ook
dankbaar gebruik gemaakt van de opmerkingen en suggesties van prof. dr. Keimpe
Algra, prof. dr. Maarten Kleinhans en prof. dr. Patti M. Valkenburg, die vanwege het
bestuur van de KNAW waren uitgenodigd om het concept te reviewen.
Conform het instellingsbesluit van de commissie richt het adviesrapport zich op
instanties die met beoordeling van sociaalwetenschappelijk onderzoek te maken hebben. De adressanten zijn de decanen en de onderzoeksdirecteuren op het gebied van
de sociale wetenschappen, maar evenzeer de visitatiecommissies en de onderzoekers
zelf.
Dit adviesrapport reikt vooral handvatten aan voor de ex post kwaliteitsbeoordeling van sociaalwetenschappelijk onderzoek. Wat betreft de ex ante beoordeling geeft
het rapport het signaal af dat beoordelende instanties zoals NWO oog dienen te hebben voor vakgebiedspecifieke aspecten en zoveel mogelijk dienen te faciliteren dat bij
alle beoordelaars, juist ook bij degenen die niet of minder bekend zijn met het vakgebied (bijvoorbeeld in vakgebiedoverstijgende beoordelingscommissies), voldoende
inleiding
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 13
13
2/20/2013 4:16:31 PM
inzicht bestaat in die aspecten. Vakgebiedspecifieke aspecten hebben betrekking op de
missie, doelgroepen en wijzen van communicatie van onderzoeksgroepen binnen het
vakgebied. Voor zover de beoordeling van de past performance deel uitmaakt van de ex
ante kwaliteitsbeoordeling kan uiteraard gebruik worden gemaakt van de handvatten
die dit adviesrapport aanreikt voor de ex post kwaliteitsbeoordeling.
Het voorgestelde raamwerk bouwt voort op het eerder genoemde adviesrapport
Judging research on its merits (KNAW, 2005) en latere adviesrapporten van de KNAW
over de formele kwaliteitsbeoordeling van wetenschappelijk onderzoek (KNAW,
2010, 2011 en 2012a). Het is zodanig opgesteld dat het kan worden toegepast binnen de algemene kaders voor de ex post kwaliteitsbeoordeling van wetenschappelijk
onderzoek, die zijn uitgewerkt in het Standard Evaluation Protocol 2009-2015 (SEP)
van NWO, KNAW en VSNU. Kenmerkend voor dat protocol is dat de te evalueren
onderzoekseenheid de gelegenheid heeft om – op basis van een gegeven stramien –
een zelfevaluatierapport op te stellen, waarna een visitatiecommissie op basis van
dit zelfevaluatierapport, eventueel aangevuld met een site visit en de bestudering van
relevante documenten, de feitelijke kwaliteitsbeoordeling van het wetenschappelijke
onderzoek verricht. Binnen het voorgestelde raamwerk is ruimte voor de specificatie
van concrete kwaliteitsindicatoren die per vakgebied kunnen verschillen.
14
naar een raamwerk voor de kwaliteitsbeoordeling
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 14
2/20/2013 4:16:31 PM
2. de kwaliteit van
sociaalwetenschappelijk
onderzoek
De kwaliteit van wetenschappelijk onderzoek wordt niet alleen beoordeeld in formele
situaties zoals onderzoeksvisitaties of hoogleraarsbenoemingen. Wetenschappelijk
onderzoek wordt voortdurend beoordeeld op zijn kwaliteit. Daarin zit ook de kracht
van het wetenschapsproces. Immers: juist in de continue dialoog met vakgenoten
(peers) en externe doelgroepen wordt onderzoek slimmer, grondiger, meer vernieuwend en relevanter voor wetenschap en samenleving.
Deze sectie gaat eerst in op de informele kwaliteitsbeoordelingen. Daarna volgt een
beschouwing over de formele kwaliteitsbeoordelingen. Laatstgenoemde type kwaliteitsbeoordeling vormt de kern van dit adviesrapport.
Informele beoordeling: peers spelen essentiële rol
Onderzoekers zijn eraan gewend continu kritisch te worden bevraagd en beoordeeld
door hun vakgenoten, hun peers. Daarnaast is iedere onderzoeker op gezette tijden
zelf ook een peer die het wetenschappelijk werk van anderen beoordeelt. Zo presenteren onderzoekers hun onderzoek op (peer reviewed) congressen en bespreken ze
hun bevindingen met peers via internet. Resultaten publiceren ze in (peer reviewed)
tijdschriften en (peer reviewed) boeken. Onderzoekers nemen plaats in promotiecommissies. Kortom, een groot deel van de beoordeling van de kwaliteit van onderzoek
vindt plaats via peers.
Beoordelaars en beoordeelden wisselen regelmatig van rol in min of meer informele nationale en internationale netwerken, die hun zwaartepunt vaak hebben buiten
de kwaliteit van sociaalwetenschappelijk onderzoek
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 15
15
2/20/2013 4:16:31 PM
de eigen universiteit of onderzoeksorganisatie. Deze informele wetenschappelijke netwerken vormen een wezenlijk onderdeel van de wetenschappelijke cultuur en spelen
een belangrijke rol in de ontwikkeling van impliciete en expliciete kwaliteitsnormen in
die cultuur.
Onderzoekers horen zich bewust te zijn van die rol en verantwoordelijkheid, en
transparant te maken wat de missie, doelgroepen en wijzen van communicatie van
onderzoeksgroepen binnen het vakgebied zijn. Transparant maken wat de ‘standaarden’ zijn in dat vakgebied, ook ten aanzien van kwaliteitsindicatoren, heeft nog een
andere functie: ook de onderzoekers uit andere vakgebieden die bij ex ante kwaliteitsbeoordelingen bij beoordelende instanties zoals NWO zijn betrokken, verkrijgen
daardoor meer inzicht in de verschillen in kwaliteitsculturen tussen vakgebieden.
Ten slotte zijn peers vooral ook nodig bij de inhoudelijke beoordeling van de
kwaliteit van het wetenschappelijke onderzoek: zij kunnen beoordelen in welke mate
wetenschappelijk onderzoek innovatief is, nieuwe kennis of inzichten geeft of zelfs tot
aha-erlebnissen en wetenschappelijke doorbraken leidt. Voor relatieve buitenstaanders, zelfs wanneer zij uit de academische wereld afkomstig zijn maar in een ander
vakgebied opereren, is het veel moeilijker, zo niet onmogelijk om vast te stellen welk
onderzoek werkelijk boven het maaiveld uitsteekt.
Bij de beoordeling van de maatschappelijke relevantie van onderzoek hebben peers
ook een rol, maar die is minder exclusief; hier kunnen en zullen ook externe doelgroepen een belangrijke taak hebben.
Het hierboven geschetste systeem van continue kwaliteitsborging van het onderhanden wetenschappelijk onderzoek, waarbinnen het vooral de peers zijn die gezamenlijk – bewust of onbewust – de kwaliteitscultuur van hun vakgebied vorm geven,
geeft de peers een vanzelfsprekende rol in de meer formele kwaliteitsbeoordelingen.
Overigens niet alleen als formele kwaliteitsbeoordelaar (in visitatieprocedures, jury’s
en beoordelingscommissies) maar ook aan de kant van de beoordeelden: als het
wetenschappelijk forum dat verantwoordelijkheid draagt voor de explicitering van
vakgebiedspecifieke kwaliteitsindicatoren die extern kunnen worden getoetst.
Formele beoordelingen: vergelijking tussen groepen
Los van de hierboven beschreven processen van voortdurende kwaliteitsbeoordeling
en -verbetering van lopend wetenschappelijk werk die de wetenschap voorwaarts
drijven, is er op gezette tijden behoefte om ‘stollingsmomenten’ te creëren. Op die
momenten wordt de stand van zaken betreffende een vakgebied, een onderzoeksgroep
of een onderzoeker formeel opgemaakt met het uitdrukkelijke doel onderzoeksgroepen onderling te vergelijken. We spreken dan van formele kwaliteitsbeoordeling, zoals
bijvoorbeeld in onderzoeksvisitaties. Ook in deze formele kwaliteitsbeoordelingsprocedures wordt voor de kwaliteitsbeoordeling gebruik gemaakt van peers. Een belangrijk verschil met de hierboven geschetste min of meer informele beoordelingssituaties
is echter dat het wetenschappelijk werk niet (alleen) intrinsiek wordt beoordeeld
16
naar een raamwerk voor de kwaliteitsbeoordeling
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 16
2/20/2013 4:16:31 PM
op zijn kwaliteit, maar dat wordt gestreefd naar een vergelijking tussen onderzoeksgroepen. Zo kunnen desgewenst strategische beslissingen worden onderbouwd over
inzet van menskracht en middelen, en over onderzoeksgroepen die moeten worden
gestimuleerd dan wel afgebouwd. Juist het vergelijkende karakter van deze formele
kwaliteitsbeoordelingen heeft de behoefte opgeroepen aan algemeen geldende,
betrouwbare en valide kwaliteitsindicatoren, die bij voorkeur ook eenvoudig zijn in
het gebruik. De neiging om de kwaliteit van het werk van de onderzoeker of onderzoeksgroep te reduceren tot een enkele kwantitatieve bibliometrische indicator valt in
dit licht te begrijpen.
Kwaliteit vergelijken is maatwerk
Het vergelijkenderwijs vaststellen van de kwaliteit van wetenschappelijk onderzoek is
echter verre van eenvoudig, en bijna per definitie controversieel.
De eerste reden daarvoor is dat vakgebieden van elkaar verschillen in aard en
opdracht, in publicatiecultuur en in vorm en omvang van de doelgroep tot wie de
onderzoeker zich wil richten. De wetenschappelijke gemeenschap van bijvoorbeeld
biomedisch onderzoekers is vele malen groter dan die van sociaalwetenschappelijk
onderzoekers. Alleen al daarom is het aantal citaties naar werk van biomedisch onderzoekers hoger dan het aantal citaties naar werk van sociaalwetenschappelijk onderzoekers. Dit type verschillen bestaat niet alleen tussen, maar ook binnen vakgebieden.
Zo hebben bijvoorbeeld sommige deelgebieden van de psychologie een publicatiecultuur die sterk lijkt op die van de geneeskunde, terwijl andere deelgebieden van de
psychologie zich meer verwant voelen met de publicatiecultuur van de geesteswetenschappen. Deze verschillen impliceren niet vanzelfsprekend en op voorhand een
verschil in kwaliteit. Daarnaast zijn er vele andere overwegingen die de waarde van
bibliometrische indicatoren relativeren (KNAW, 2012a, blz. 38 en 39). Omdat de zinnigheid of onzinnigheid van het gebruik van bibliometrische indicatoren in de sociale
wetenschappen per vakgebied verschilt, is het van belang wetenschappelijk onderzoek
altijd in zijn context te beoordelen (KNAW, 2005; e.a.).
De tweede reden is dat iedere kwaliteitsindicator per definitie slechts een benadering (proxy) is van ‘kwaliteit’ en dat geen enkele indicator een volledige dekking geeft
aan het begrip ‘kwaliteit’. ‘Kwaliteit’ is geen eendimensionaal begrip. Er zullen altijd
meerdere indicatoren nodig zijn om de verschillende facetten van kwaliteit van wetenschappelijk onderzoek te belichten. Dit geldt zeker voor de sociale wetenschappen,
waarvan immers wordt verwacht dat zij kennis en inzicht verschaffen in (de achtergronden van) menselijk gedrag en maatschappelijke ontwikkelingen. De ‘valorisatie’
van deze kennis is in eerste instantie veelal niet gericht op economisch gewin, maar op
verbeteringen in het publieke en semipublieke domein, zoals zorg, veiligheid, onderwijs, kwaliteit van bestuur, etc. Deze ‘missie’ van de sociale wetenschappen zal worden
weerspiegeld in de kwaliteitsindicatoren. Een te grote nadruk in beoordelingsprocedures op de kwantificering van slechts een enkele kwaliteitsindicator als sleutelindicator
de kwaliteit van sociaalwetenschappelijk onderzoek
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 17
17
2/20/2013 4:16:31 PM
(bijvoorbeeld het aantal artikelen in internationale, peer reviewed tijdschriften) kan
leiden tot strategisch gedrag door onderzoekers, waardoor zij onvoldoende investeren
in andere facetten van het meerdimensionale kwaliteitsbegrip. De veelgehoorde klacht
dat er op zich wel voldoende kennis is, maar dat die kennis in de praktijk onvoldoende
toepassing vindt, kan voor een deel hieraan worden toegeschreven. De meeste clinici,
politici, beleidsmakers en ondernemers lezen nu eenmaal geen artikelen in peer reviewed tijdschriften. Voor deze doelgroepen zijn andere publicatievormen noodzakelijk.
Het belang hiervan zal verschillen per vakgebied.
De derde reden is dat veel sociaalwetenschappelijk onderzoek zich ook afspeelt
binnen een multidisciplinaire onderzoekscontext. De ironie wil dat, terwijl juist de
samenwerking tussen verschillende disciplines tot verrassende doorbraken kan
leiden, het multidisciplinaire onderzoek slechts matig scoort op traditionele kwaliteitsindicatoren: de relevante tijdschriften hebben een kleinere oplage en een lagere
impactfactor.
Het voorgaande laat zien dat een kwaliteitsbeoordeling in de wetenschap niet
op een routineuze wijze kan plaatsvinden. Er is in iedere beoordelingsprocedure
expliciete reflectie nodig op de aard van het vakgebied, die ook tot uiting zou moeten
komen in de keuze van relevante kwaliteitsindicatoren. Kenmerkend voor de sociale
wetenschappen is dat deze zich in hun algemeenheid niet alleen richten op de peers,
maar ook op externe doelgroepen. Dit betekent dat kwaliteitsindicatoren ook inzicht
moeten geven in de maatschappelijke relevantie van het sociaalwetenschappelijk
onderzoek. Kwaliteitsindicatoren zijn alle vaststelbare aanwijzingen voor wetenschappelijke kwaliteit en maatschappelijke relevantie.
Ten slotte laat het voorgaande zien dat wetenschappelijk werk het verdient om
óók en vooral inhoudelijk op zijn kwaliteit te worden beoordeeld. Dit wil uiteraard
niet zeggen dat in een beoordelingsprocedure bijvoorbeeld alle publicaties van de te
beoordelen onderzoekers zouden moeten worden gelezen. Dat is niet haalbaar en ook
niet nodig. Er zou bijvoorbeeld kunnen worden gekozen voor de inhoudelijke beoordeling van een beperkt aantal door de onderzoekers zelf aangedragen sleutelpublicaties
(voor de wetenschappelijke kwaliteit) en voorbeeldcases (voor de wetenschappelijke
kwaliteit en de maatschappelijke relevantie), waarover de onderzoekers in site visits
kritisch op kunnen worden bevraagd. Net als in de meer informele vormen van kwaliteitstoetsing zou ook bij formele kwaliteitstoetsingen altijd sprake moeten zijn van
de vierslag: (inhoudelijke) beoordeling, argumentatie, overleg, beslissing (De Groot,
1986). Goede kwaliteitsindicatoren voor het sociaalwetenschappelijk onderzoek zullen dan ook altijd minstens gedeeltelijk betrekking moeten hebben op een inhoudelijke beoordeling van het verrichte onderzoek.
De conclusie is dat een algemeen geldende set van kwaliteitsindicatoren onvoldoende recht doet aan de diversiteit van het werk in de sociale wetenschappen.
18
naar een raamwerk voor de kwaliteitsbeoordeling
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 18
2/20/2013 4:16:31 PM
3. beoordelingscriteria
voor de kwaliteit van
sociaalwetenschappelijk
onderzoek
Bij de ontwikkeling van een raamwerk voor de kwaliteitsbeoordeling van sociaalwetenschappelijk onderzoek moet worden gezocht naar een beoordelingssystematiek
met voldoende algemene elementen om een zekere vergelijking tussen vakgebieden
en onderzoeksgroepen/onderzoekers mogelijk te maken, maar waarbinnen voldoende
ruimte is voor vakgebiedspecifieke kwaliteitsindicatoren om zodoende recht te doen
aan de diversiteit van de vakgebieden. Dit kan door een beperkt aantal algemene
beoordelingscriteria te formuleren die in principe voor elk vakgebied relevant zijn,
maar de invulling daarvan – in de vorm van concrete kwaliteitsindicatoren – over te
laten aan het vakgebied dat wordt beoordeeld. Dit geldt dus ook, in het bijzonder, voor
de vakgebieden binnen de sociale wetenschappen.
Verantwoordelijkheidsverdeling
Beoordelaars krijgen daarmee de taak te beoordelen in hoeverre de wetenschappelijke kwaliteit van het te beoordelen vakgebied/onderzoeksgroep onvoldoende, aan de
maat of excellent is op basis van de aangeleverde informatie over de geleverde prestaties op de kwaliteitsindicatoren die voor het betreffende vakgebied zijn vastgesteld.
Dat betekent dat beoordelaars deze kwaliteitsindicatoren (en niet hun persoonlijke
normen) als uitgangspunt nemen voor de beoordeling. Uiteraard hebben beoordelaars ook de verantwoordelijkheid zich een mening te vormen over de vraag of de
beoordelingscriteria voor de kwaliteit
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 19
19
2/20/2013 4:16:31 PM
kwaliteitsindicatoren voldoende ambitieus zijn geformuleerd. Idealiter gebeurt dit
voorafgaand aan de feitelijke beoordelingsprocedure en wordt dit vastgelegd in tweezijdig overeengekomen ‘terms of reference’.
Een dergelijk beoordelingssysteem legt óók verantwoordelijkheid bij de onderzoekers zelf: het vraagt de onderzoekers de eigen missie, doelgroepen en communicatiewijzen vast te stellen met bijbehorende kwaliteitsindicatoren, maar daarover dan ook
verantwoording af te leggen. Geen onderzoeker kan zich aan dit proces onttrekken
met een verwijzing dat de missie van de onderzoeksgroep en de gekozen kwaliteitsindicatoren niet van toepassing zijn op het eigen wetenschappelijk werk. De leidende
kwaliteitscultuur binnen het eigen vakgebied is in beginsel maatgevend.
Beoordelingssystematiek
Dit adviesrapport onderscheidt voor de kwaliteitsbeoordeling van sociaalwetenschappelijk onderzoek twee kwaliteitsdomeinen: ‘wetenschappelijke kwaliteit’ en
‘maatschappelijke relevantie’. Bij een gewogen kwaliteitsbeoordeling van het sociaalwetenschappelijk onderzoek zijn beide van essentieel belang. Daarnaast omvat
de beoordelingssystematiek drie verschillende dimensies: (1) productie van kennis,
(2) gebruik door anderen van de gepubliceerde kennis en (3) externe blijken van
erkenning en waardering. Deze drie dimensies zijn op beide kwaliteitsdomeinen van
toepassing, waarmee zes globale beoordelingscriteria geïdentificeerd kunnen worden.
Daarmee is dit adviesrapport in lijn met soortgelijke adviezen in de ontwerpende en
construerende disciplines (KNAW, 2010) en de geesteswetenschappen (KNAW, 2011
en 2012a). Zowel de kwaliteitsdomeinen als de beoordelingsdimensies worden hieronder toegelicht. Aan het eind van deze sectie vat een schema de zes beoordelingscriteria samen.
Kwaliteitsdomeinen
De waarde van wetenschappelijk onderzoek wordt bepaald door de combinatie van
wetenschappelijke kwaliteit en maatschappelijk belang (De Groot, 1986). Beide kwaliteitsdomeinen hebben eigen doelgroepen en daarmee eigen manieren van communiceren, hetgeen een afzonderlijke beoordeling rechtvaardigt. Soms kan er een zekere
spanning ontstaan tussen de manieren van communiceren in beide kwaliteitsdomeinen. Daarom dienen de wetenschappelijke kwaliteit en maatschappelijke relevantie
ook in hun onderlinge verband te worden beoordeeld.
Teneinde de wetenschappelijke kwaliteit van onderzoek te kunnen bepalen, richt
de onderzoeker zich in eerste instantie op de eigen vakgenoten, de peers. Tot deze
doelgroep behoren in beginsel alle onderzoekers (variërend in anciënniteit en ervaring), nationaal en internationaal, alsmede promovendi en Research Master studenten
in het eigen (bredere) vakgebied. Beoordelaar en beoordeelde kunnen regelmatig
van rol wisselen. Daarom is het van belang dat de beoordelaar als onafhankelijk en de
20
naar een raamwerk voor de kwaliteitsbeoordeling
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 20
2/20/2013 4:16:31 PM
kwaliteitsbeoordeling als transparant wordt beleefd.
De onderzoeker richt zich voor de maatschappelijke relevantie van haar wetenschappelijke onderzoek op de externe doelgroepen. Tot deze doelgroepen, die een
belang kunnen hebben bij de keuze van de vraagstellingen en de resultaten van het
wetenschappelijk werk van de onderzoeker, behoren: beleidsmakers, bedrijfsleven,
professionals, patiënten (bij medisch onderzoek), NGO’s, culturele instellingen, en
andere belangstellenden. De onderzoeker kan zich richten op externe doelgroepen in
Nederland en daarbuiten. Journalisten en andere mediadragers kunnen een belangrijke bemiddelende rol spelen tussen wetenschap en samenleving, en vormen als
zodanig ook een belangrijke doelgroep in het kwaliteitsdomein ‘maatschappelijke
relevantie’. Niet alle optredens in de media door de onderzoeker hoeven echter te
worden geoormerkt als ‘maatschappelijke relevant’. Bij de beantwoording van de
vraag of bepaalde vormen van communicatie al dan niet kunnen worden aangemerkt
als prestaties op het kwaliteitsdomein ‘maatschappelijke relevantie’ is onder meer van
belang in welke mate de onderzoeker in staat is ook de wetenschappelijke aspecten
van het werk naar voren te brengen.
Overigens dienen onderzoekers ervoor te waken zich al te argeloos op te stellen
in hun communicatie met welke mogelijke externe doelgroep dan ook. Omdat het
kenmerkend voor de sociale wetenschappen is dat deze zich in hun algemeenheid
ook richten op externe doelgroepen, is voor het bepalen van de maatschappelijke
relevantie van sociaalwetenschappelijk onderzoek het perspectief van die doelgroepen van belang, alsook de keuze van de gebruikte communicatiestrategieën. Deze
kunnen zeer gevarieerd zijn. Bovendien zijn de communicatiestrategieën onderhevig
aan de dynamiek van de media zelf. Zij kunnen uiteenlopende vormen omvatten zoals
docudrama’s, infotainment en scripted reality. Ook de mogelijkheden om sociaalwetenschappelijke kennis te verspreiden via internet en social media zijn relevant voor
het selecteren en vaststellen van kwaliteitsindicatoren voor het eigen vakgebied. Dit
betekent echter niet dat iedere uiting van een sociaalwetenschappelijk onderzoeker
op internet als vanzelfsprekend kan worden aangemerkt als een blijk van maatschappelijke relevantie.
Het bovenstaande laat zien dat een simpele kwantitatieve analyse van het kwaliteitsdomein ‘maatschappelijke relevantie’ niet zinvol is. Voorkómen moet worden
dat al te gemakkelijk appels en peren bij elkaar worden gevoegd. Het kan zinvol zijn
externe doelgroepen te betrekken bij de beoordeling van onderzoek op zijn maatschappelijke relevantie. Juist omdat voor de sociale wetenschappen geldt dat externe
doelgroepen zelf niet alleen een positief, maar ook een negatief belang kunnen hebben bij de resultaten van het onderzoek, is de keuze van de juiste personen voor het
beoordelen van de maatschappelijke relevantie essentieel en het vertrouwd maken
van externe beoordelaars met de wetenschappelijke cultuur wenselijk.
Dit adviesrapport heeft als uitgangspunt dat het primaat van de kwaliteitsbeoordeling van sociaalwetenschappelijk onderzoek ligt bij de wetenschappelijke kwaliteit.
Een wetenschappelijk inferieur onderzoek (dat wil zeggen: een onderzoeksproject of
beoordelingscriteria voor de kwaliteit
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 21
21
2/20/2013 4:16:31 PM
–programma) kan per definitie geen hoge maatschappelijke relevantie hebben, omdat
de samenleving dan zou worden misleid. De samenleving moet kunnen rekenen op
een goede borging van de wetenschappelijke kwaliteit van het onderzoek dat door
publieke middelen wordt bekostigd. Anders wordt het vertrouwen van de samenleving
in de wetenschap ondermijnd. Dit betekent dat er een zekere hiërarchie bestaat in de
kwaliteitsbeoordeling: als een onderzoek wetenschappelijk is bevonden door de peers
is een beoordeling op zijn maatschappelijke relevantie zinvol. Maar de onderzoeker
heeft geen ‘dr. Clavan’-rol. Anders gezegd: bij alle communicatie die de onderzoeker
richt op de externe doelgroepen behoort de (peer reviewed) bron van de wetenschappelijke kennis traceerbaar te zijn, ofwel in het eigen wetenschappelijke werk ofwel
elders in de wetenschappelijke literatuur.
Beoordelingsdimensies
Het adviesrapport maakt in beide kwaliteitsdomeinen (‘wetenschappelijke kwaliteit’
en ‘maatschappelijke relevantie’) onderscheid tussen drie beoordelingsdimensies:
1. (Aantoonbare) productie van wetenschappelijke kennis (o.a. artikelen en boeken).
2. (Aantoonbaar) gebruik van wetenschappelijke kennis (o.a. citaties en referenties).
3. (Aantoonbare) blijken van erkenning (o.a. prijzen en eervolle benoemingen).
Er bestaat een gelaagdheid in deze dimensies. Wetenschappelijke kennis kan pas
worden gebruikt nadat deze is geproduceerd. Erkenning treedt doorgaans pas op als
een onderzoeker uitstekend wetenschappelijk werk heeft verricht en dat werk door
anderen is gebruikt. Goede kwaliteit begint dus altijd met (aantoonbare) productie van
wetenschappelijke kennis. Maar dat betekent niet dat een hoge productie ook automatisch een hoge kwaliteitsbeoordeling inhoudt. Een onderzoeker die 10 publicaties op
haar naam heeft die elk gemiddeld meer dan 50 keer zijn geciteerd, zou bijvoorbeeld
hoger kunnen worden beoordeeld dan een onderzoeker die 100 publicaties op haar
naam heeft maar waarvan er slechts 20 zijn geciteerd. En als een onderzoeker als blijk
van erkenning een NWO-Spinozapremie heeft gekregen, zullen weinigen de behoefte
hebben de publicaties te tellen. Het gaat dus om de verhouding tussen de drie beoordelingsdimensies. Hoe deze verhouding precies zou moeten liggen, en wat de precieze
kwaliteitsindicatoren zouden moeten zijn, hangt sterk af van het vakgebied en de daar
geldende publicatienormen. In sommige vakgebieden binnen de sociale wetenschappen (bijvoorbeeld grote delen van de psychologie) heeft men de publicatienormen
van de bèta- en medische wetenschappen overgenomen (te schetsen als: veel korte
publicaties met meerdere auteurs), terwijl in andere vakgebieden de voorkeur bestaat
voor monografieën en artikelen met slechts één auteur. De invulling van de kwaliteitsindicatoren ligt in handen van de onderzoekers zelf. Zij dienen de ‘standaarden’ in dat
vakgebied transparant te maken, ook ten aanzien van de kwaliteitsindicatoren.
Daarnaast is het van belang oog te hebben voor de levensfase van de onderzoeker.
Aantoonbare blijken van erkenning zijn gerelateerd aan de fase van de wetenschappelijke carrière van de onderzoeker. Bijvoorbeeld voor een promovendus behoort een
22
naar een raamwerk voor de kwaliteitsbeoordeling
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 22
2/20/2013 4:16:31 PM
cum laude of een thesis-award tot de aantoonbare blijken van erkenning, terwijl voor
een hoogleraar een eredoctoraat kan worden gezien als een aantoonbare zeer hoge
blijk van erkenning. Zo’n erkenning is vroeg in de loopbaan niet of nauwelijks bereikbaar.
De beoordelingscriteria voor sociaalwetenschappelijk
onderzoek
Schema. Zes beoordelingscriteria
BEOORDELINGSDIMENSIES
KWALITEITSDOMEINEN
wetenschappelijke kwaliteit: MAATSCHAPPELIJKE RELEVANTIE:
Uitvoeren van wetenschappelijk Communiceren en/of samenonderzoek: doen van onderzoek werken met externe doelbinnen de context van de onder- groepen over het eigen, peer
zoeksorganisatie, en er voor
reviewed wetenschappelijke
zorgen dat de peers dit lopende onderzoek
onderzoek als kwalitatief hoogstaand kwalificeren
(1)
(4)
AANTOONBARE Aantoonbare producten die Aantoonbare producten voor
PRODUCTIE
door peers als kwalitatief
externe doelgroepen
hoogstaand zijn gekwalificeerd
(2)
(5)
AANTOONBAAR Aantoonbaar gebruik door
Aantoonbaar gebruik door
GEBRUIK
peers van de aantoonbare
externe doelgroepen
producten van de onderzoeker
(3)
(6)
AANTOONBARE
Aantoonbare blijken van
Aantoonbare blijken van
BLIJKEN VAN
erkenning door peers vanerkenning door externe
ERKENNING
wege de aantoonbare producdoelgroepen
ten van de onderzoeker
Het schema is van toepassing op de ‘onderzoeker’ en op de ‘onderzoeksgroep’. Overal
waar ‘onderzoeker’ staat, kan ook ‘onderzoeksgroep’ worden gelezen.
Voor de ‘onderzoeker’ is idealiter sprake van een ontwikkelingspad ‘van getalenteerde student tot hoogleraar’ dat in de tijd verloopt van linksboven naar rechtsonder in
het schema. Bij een excellente onderzoeker zouden aan het einde van de loopbaan alle
cellen uit het schema moeten zijn gevuld. De weg daar naartoe kan grillig verlopen.
Voor de ‘onderzoeksgroep’ is eveneens sprake van een zekere volgtijdigheid in de
beoordelingscriteria: in het schema van boven naar beneden, en van links naar rechts.
Erkenning volgt op gebruik van wetenschappelijke kennis en dat gebruik volgt op de
beoordelingscriteria voor de kwaliteit
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 23
23
2/20/2013 4:16:31 PM
productie. De ‘koninklijke weg’ volgend, treedt een onderzoeksgroep pas in dialoog
met externe doelgroepen over de ontwikkelde wetenschappelijke kennis nadat die
kennis een peer reviewed productieproces heeft doorlopen: eerst output leveren van
hoge wetenschappelijke kwaliteit, en daarna pas communiceren met externe doelgroepen. Het is bij de evaluatie van het wetenschappelijke werk van onderzoeksgroepen tevens van belang aandacht te besteden aan de balans binnen het beoordelingsschema: exclusieve aandacht voor de wetenschappelijke kwaliteit is evenmin wenselijk
als eenzijdige aandacht voor de maatschappelijke relevantie. Juist de verwevenheid
van beide kwaliteitsdomeinen is waardevol. Dit neemt niet weg dat binnen wat grotere
onderzoeksgroepen sommige leden van de groep zich in de ene richting en andere
groepsleden in de andere richting kunnen specialiseren en profileren. Idealiter is er
sprake van de ontwikkeling van een enkele pionierende onderzoeker of een kleine
groep pioniers tot een succesvolle onderzoeksgroep naarmate er meer cellen in het
beoordelingsschema op een transparante, traceerbare en toetsbare wijze zijn gevuld.
24
naar een raamwerk voor de kwaliteitsbeoordeling
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 24
2/20/2013 4:16:31 PM
4. voorbeelden van
kwaliteitsindicatoren
voor de sociale
wetenschappen
Dit adviesrapport vermeldt nadrukkelijk geen set van vaste kwaliteitsindicatoren voor
de sociale wetenschappen. Kwaliteitsindicatoren en hun gewichten variëren tussen
de vakgebieden in de sociale wetenschappen en tussen de schaalniveaus (project,
programma, persoon, groep, instituut). Ook zijn de indicatoren afhankelijk van de
loopbaan van personen en van de ontwikkeling van groepen en instituten.
Deze sectie geeft voorbeelden van kwaliteitsindicatoren voor elk van de zes beoordelingscriteria. De aan onderwijs gerelateerde indicatoren zijn in cursief weergegeven
omdat die weleens worden ‘vergeten’, terwijl het zou moeten worden gewaardeerd dat
een gerenommeerd onderzoeker college geeft of studenten begeleidt. Promovendi en
studenten van een Research Master worden gerekend tot de peers, omdat zij belangrijk
kunnen zijn voor de wetenschappelijke disseminatie van kennis. Bachelor- en masterstudenten behoren tot de externe doelgroepen. Zij zullen in hun toekomstige werk en
in de maatschappij wetenschappelijke kennis toepassen.
Voorbeelden voor beoordelingscriterium (1): ‘Aantoonbare producten die door peers als
kwalitatief hoogstaand zijn gekwalificeerd’
• Artikelen in (online) wetenschappelijke tijdschriften
• Monografieën
• Boeken/boekdelen
• Conference proceedings
voorbeelden van kwaliteitsindicatoren
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 25
25
2/20/2013 4:16:31 PM
• Docent-/college-uren Research Master
• Proefschriften (als een vorm van ‘productie van kennis’)
Voorbeelden voor beoordelingscriterium (2): ‘Aantoonbaar gebruik door peers van de
aantoonbare producten van de onderzoeker’
• Recensies
• Citaties4
• Gebruik van ontwikkelde modellen of methoden
• Bijdrage aan theorie-/modelvorming, aan methodeontwikkeling, aan wetenschappelijke schoolvorming
• Proefschriften (als de kweek van Nachwuchs en wetenschappelijke schoolvorming)
• Research Master-afgestudeerden
• PhD’s in eerste baan binnen wetenschap nadat zij zijn gepromoveerd
Voorbeelden voor beoordelingscriterium (3): ‘Aantoonbare blijken van erkenning door
peers vanwege de aantoonbare producten van de onderzoeker’
• Wetenschappelijke prijzen (ook thesisprijzen)
• Prestigieuze nationale en internationale onderzoekssubsidies, persoonsgebonden
subsidies
• Lidmaatschappen (inter)nationale jury’s, visitatiecommissies, wetenschappelijke
redacties
• Lidmaatschappen van wetenschappelijke organisaties zoals de KNAW
• Lidmaatschappen van wetenschappelijke programmacommissies
• Keynote-lezingen op wetenschappelijke congressen
• Eredoctoraten
• Visiting professorships
Voorbeelden voor beoordelingscriterium (4): ‘Aantoonbare producten voor externe doelgroepen’
• Boeken/boekdelen voor breed publiek
• Monografieën voor breed publiek
• Artikelen in vakbladen, op wetenschapspagina’s en digitale kennissites
• Projecten in opdracht en/of i.s.m. doelgroepen
• Voordrachten voor professionals of breed publiek
• Bijdragen aan het publieke debat en expert-optredens in nationale en internationale media
• Fondsenwerving
• Handboeken voor onderwijs in bachelor en (gewone) master
• Training van professionals
4 Wellicht is het in de toekomst mogelijk om het downloaden van online artikelen te meten,
parallel aan de citatie-indices. Dat zegt immers ook iets over de belangstelling voor een publicatie en wordt door open access ook steeds belangrijker (De Jonge Akademie, 2012).
26
naar een raamwerk voor de kwaliteitsbeoordeling
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 26
2/20/2013 4:16:31 PM
• Docent-/college-uren bachelor en (gewone) master
Voorbeelden voor beoordelingscriterium (5): ‘Aantoonbaar gebruik door externe doelgroepen’
• Aantoonbaar gebruik door professionals (citaties in vaktijdschriften, richtlijnen,
leerboeken, etc.)
• Aantoonbaar gebruik door politici en beleidsmakers (Kamervragen en -antwoorden, citaties in Tweede Kamerstukken en beleidsnota’s, citaties door EU-gremia en
internationale organisaties, evidence-based policy)
• Aantoonbare bijdrage aan maatschappelijke vraagstukken (citaties, referenties,
gebruik van kennis in publieke media, waaronder wetenschapsprogramma’s)
• Bachelor- en (gewone) master-afgestudeerden
• PhD’s in eerste baan buiten wetenschap
Voorbeelden voor beoordelingscriterium (6): ‘Aantoonbare blijken van erkenning door
externe doelgroepen’
• Maatschappelijke prijzen
• Lidmaatschappen van nationale organisaties zoals van de WRR, de Gezondheidsraad, de Onderzoeksraad voor Veiligheid, en van internationale organisaties
• Lidmaatschappen van wetenschappelijke adviesraden van maatschappelijke organisaties (patiëntenverenigingen, NGO’s, culturele instellingen, e.d.)
• Lidmaatschappen van jury’s voor scriptieprijzen
• Prijzen scripties bachelor en (gewone) master
voorbeelden van kwaliteitsindicatoren
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 27
27
2/20/2013 4:16:32 PM
5. toepassing van het
voorgestelde raamwerk:
enkele voorbeelden
Deze sectie geeft enkele praktijkvoorbeelden van de toepassing van het voorgestelde
raamwerk. De voorbeelden maken duidelijk hoe beslissingen kunnen worden genomen: in eerste instantie op basis van het onderscheid tussen wel en niet voldoende
zijn van het werk van de beoordeelde onderzoeker of onderzoeksgroep, en in tweede
instantie op basis van het onderscheid tussen wel en niet excellent zijn van dat werk.
Het betreft vier voorbeelden: een jonge onderzoeker, een kandidaat voor een hoogleraarsbenoeming, een jonge onderzoeksgroep en een vakgebied.
voorbeeld 1: jonge onderzoeker op termijn van uhd naar
hoogleraar?
Recentelijk is een jonge econoom bevorderd tot UHD, en daarmee heeft hij een vaste aanstelling. In 2007 haalde hij zijn PhD, en sindsdien heeft hij tweemaal gepubliceerd in het
toptijdschrift de American Economic Review. Dat deed hij wel samen met coauteurs, maar
die lieten weten dat de jonge econoom zelf de motor was achter het gehele onderzoek.
De twee artikelen zijn al veelvuldig geciteerd. Op het moment van bevordering had hij
vijf papers in de pijplijn bij verschillende peer reviewed tijdschriften, waarvan één bij
weer een toptijdschrift. Naast zijn wetenschappelijke publicaties geeft de jonge econoom
al jaren onderwijs in het Bachelor 3 en begeleidt hij scripties in zowel de bachelor- als
de masterfase. De evaluaties van zijn onderwijs zijn zonder uitzondering uitstekend. Hij
heeft tientallen presentaties in vooral het buitenland gegeven, zowel tijdens congressen
als tijdens meer besloten seminars. Hij beoordeelt manuscripten voor vele tijdschriften,
waaronder ook weer de toptijdschriften in het vakgebied. Wanneer gevraagd, maar ook
28
naar een raamwerk voor de kwaliteitsbeoordeling
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 28
2/20/2013 4:16:32 PM
uit eigen beweging, levert de jonge econoom bijdragen aan het maatschappelijk debat
via opiniepagina’s van de faculteit alsook in Nederlandstalige media zoals het vakblad
Economisch Statistische Berichten. De aanvullende referentiebrieven maakten gewag van
een ‘origineel denker’, en ook van een ‘warme persoonlijkheid’. De decaan heeft de jonge
econoom voorgehouden dat promotie naar een hoogleraarschap binnen enkele jaren
kan worden bereikt als hij op alle bovenstaande terreinen de portefeuille in kwaliteit
en kwantiteit uitbreidt, alsook dat hij zich opwerpt als aanspreekpunt voor jong talent
opdat het zichtbaar is dat dit de kwaliteit is die de faculteit graag aan zich bindt.
voorbeeld 2: kandidaat voor een hoogleraarsbenoeming?
De benoemingsadviescommissie heeft niet te klagen over het aantal kandidaten uit binnen- en buitenland dat belangstelling heeft getoond voor de vacature voor een hoogleraar politieke wetenschap. Nu moet daaruit een beperkt aantal kandidaten worden uitgenodigd voor een gesprek met de commissie en een presentatie voor de hele staf. Naast
wetenschappelijke kwaliteit spelen bestuurlijke ervaring en leidinggevende capaciteiten
natuurlijk een belangrijke rol bij deze functie. Bij het beoordelen van de onderwijskwaliteit wordt gekeken naar de portefeuille aan gegeven cursussen, de meegestuurde
evaluaties van studenten en de ervaring met promotiebegeleiding. Er is een kandidaat
die al een drietal promovendi naar de eindstreep heeft gebracht, maar hij heeft geen
ervaring met grote hoorcolleges en een van de commissieleden rapporteert ook over een
rammelende presentatie op een recent congres. Gelukkig zijn er andere kandidaten met
een meer evenwichtig beeld. Dan worden de publicatielijsten naast elkaar gelegd. Gegeven de publicatie- en citatiecultuur in de politicologie heeft het berekenen van ‘de H’ van
de kandidaten weinig zin, maar op dit niveau wordt wel een redelijk aantal artikelen in
internationale peer reviewed tijdschriften verwacht. Steeds vaker geven kandidaten in
hun publicatielijst ook de gemiddelde impactfactor van het tijdschrift over de laatste vijf
jaar aan, maar ook los daarvan heeft de commissie een redelijk eensluidend beeld over
de reputatie van de belangrijkste tijdschriften. Zonder dat soort tijdschriftartikelen komt
een kandidaat niet ver, maar hoofdstukken in geredigeerde bundels tellen bijna even
zwaar. Hier kijkt de commissie naar de redacteuren van die bundels, maar vooral naar de
uitgevers: bij de grote university presses en bij commerciële uitgevers als Palgrave of Routledge is ook sprake van een stevig reviewproces. Coauteurschappen tellen zeker mee,
maar van een potentieel hoogleraar in dit vakgebied verwacht de commissie toch ook
single-authored publicaties en als het even kan een boek. De commissie had elke kandidaat gevraagd een paar publicaties mee te sturen. Een van de kandidaten valt af omdat
zij ook voor dat doel alleen artikelen had meegestuurd die samen met anderen waren
geschreven. Bij nader onderzoek blijkt dat zelfs haar proefschrift bestaat uit artikelen en
papers die zij samen met haar promotor en copromotor heeft geschreven. De twee meest
kansrijke kandidaten, een buitenlandse en een Nederlandse, zijn ongeveer even lang
actief. Beiden kunnen bogen op een mooie publicatielijst en hun meegestuurde publicaties zijn enthousiast ontvangen, ook door de commissieleden uit andere subdisciplines.
toepassing van het voorgestelde raamwerk: enkele voorbeelden
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 29
29
2/20/2013 4:16:32 PM
De buitenlandse kandidaat heeft naast diverse artikelen en hoofdstukken samen met
collega’s een inleiding op het vakgebied geschreven voor het onderwijs. Hij is lid van de
redactiecommissie van enkele vooraanstaande tijdschriften. De Nederlandse kandidate
heeft naast internationale publicaties ook een paar artikelen in de enige twee gerefereerde Nederlandstalige tijdschriften op haar naam, en een Nederlandstalig boek voor
een breder publiek dan alleen vakgenoten. Zij speelt een belangrijke rol in het publieke
debat. Zij is net buiten de prijzen gevallen voor een persoonsgerichte subsidie, terwijl de
buitenlandse concurrent in eigen land wel een prestigieuze subsidie in de wacht heeft
gesleept, maar de commissie weet ook dat de honoreringspercentages voor politicologen
in Nederland lager zijn. Er zullen nog enkele kandidaten worden opgeroepen, maar de
commissie vermoedt dat haar straks een lastige afweging wacht tussen deze twee.
voorbeeld 3: bezuinigen op jonge onderzoeksgroep?
De onderzoeksgroep is ontstaan rond de activiteiten van twee hoogleraren in de sociale
en culturele antropologie. Beiden hebben succes met betrekking tot het binnenhalen van
plaatsen voor promovendi en postdocs in het kader van individuele aanvragen en grotere projecten (NWO, Europese fondsen). Zij stimuleren UD’s en UHD’s in vaste dienst om
aanvragen in te dienen en te publiceren in internationale toptijdschriften zoals American
Ethnologist, Cultural Anthropology, Current Anthropology, Social Antropology, Journal
of the Royal Anthropological Institute, alsmede in vooraanstaande tijdschriften op het
gebied van area studies en met een thematische focus. Monografieën worden gepubliceerd bij gerenommeerde uitgevers (University Presses, Brill, Berg, Berghahn, Blackwell,
Routledge, en Palgrave). Enkele promovendi slagen er reeds voor de verdediging van
de dissertatie in om artikelen te publiceren in bundels en ge-refereede tijdschriften;
zij promoveren cum laude. Goed publicerende postdocs worden gestimuleerd om een
Veni-aanvraag in te dienen. Er heerst een stimulerend onderzoekklimaat. Dat blijkt uit
het organiseren van minimaal twee internationale workshops per jaar, maandelijkse
seminars voor de onderzoeksgroep, een veelbezochte Nederlandstalige weblog waarin
onderzoeksresultaten aan een breed publiek worden gepresenteerd, en de publicatie
van (single-authored) artikelen, boeken en bundels. De onderzoeksgroep heeft nationaal
en internationaal aanzien, hetgeen blijkt uit uitnodigingen aan de senior onderzoekers
en postdocs voor keynotes, lezingen, bijdragen aan workshops, en citaties. De hoogleraren zetten zich actief in voor de verdere ontwikkeling van de promovendi, die op eigen
naam kunnen publiceren. Daarnaast nemen leden van de onderzoeksgroep deel aan
het maatschappelijk debat via kranten, websites en sociale media en vervullen zij een
adviserende rol bij organisaties en instellingen op het gebied van ontwikkelingssamenwerking en wereldcultuur. Kortom: de onderzoeksgroep geeft er duidelijk blijk van op
een hoog niveau te functioneren. Om die reden kan een decaan beslissen deze groep bij
bezuinigingen uit de wind te houden.
30
naar een raamwerk voor de kwaliteitsbeoordeling
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 30
2/20/2013 4:16:32 PM
voorbeeld 4: landelijk oordeel over een vakgebied?
Een landelijke visitatiecommissie Rechtsgeleerdheid bracht onlangs haar rapport uit.
Na afloop van de presentatie toonden alle betrokken partijen zich tevreden over het
beoordelingsproces. Universitaire bestuurders, onderzoeksdirecteuren en gevisiteerde
onderzoeksgroepen hadden zo hun opmerkingen bij de uitkomsten, maar breed gedeeld
was de conclusie dat de commissie transparant te werk was gegaan met aandacht voor
de ontwikkelingsstadia waarin de verschillende onderzoeksgroepen zich bevonden.
Bovendien toonde men zich verheugd over het feit dat de commissie aan de ene kant oog
had voor de thematische en methodische verschillen tussen de te evalueren onderzoeksgroepen, maar dat ze tegelijkertijd strak de hand hield aan een uniforme systematiek
voor de beoordeling van het doen van rechtsgeleerd onderzoek, het gebruik daarvan
door derden (peers en samenleving) en de erkenning die onderzoeksgroepen daarvoor
ontvingen. De commissie had in een vroeg stadium duidelijk gemaakt dat oog voor inhoudelijke variëteit (juridisch/dogmatisch, inter-/multidisciplinair, nationaal/internationaal) geenszins betekende dat de commissie de groepen niet aan de hand van hetzelfde
raamwerk wat betreft wetenschappelijke kwaliteit en maatschappelijke relevantie
zou beoordelen. Daarmee had de commissie de discipline uitgedaagd om voorafgaand
aan de visitatie scherp te maken waar men op wenste te worden afgerekend. Nadat de
decanen rechtsgeleerdheid deze handschoen hadden opgepakt, werd op het niveau van
kwaliteitsindicatoren onder meer duidelijk dat op de publicatielijst van onderzoeksgroepen niet alleen artikelen geschreven door meerdere auteurs kunnen staan, maar dat
kwaliteit ook kan worden afgemeten aan aantallen boeken die zijn verschenen bij een
gerenommeerde uitgeverij, waarbij boeken op naam van een individuele onderzoeker
(single-authored books) een extra indicatie voor kwaliteit kunnen zijn. Duidelijk werd
ook dat gebruik door peers niet of nauwelijks zou worden gevonden in het tellen van
citaties (wat praktisch onmogelijk is, gegeven zowel de thematische rijkdom van het
vakgebied en daarmee het brede palet aan tijdschriften en boeken als ook de variëteit in
het oogmerk waartoe wordt geciteerd), maar in de aantoonbare bijdrage aan nationale
en internationale wetenschappelijke schoolvorming. Ook een stimulerende en zichtbare
wisselwerking tussen onderzoek en onderwijs vormt een uiting van zowel wetenschappelijke kwaliteit als maatschappelijke relevantie, zo kreeg de commissie van de decanen
te horen. De kwaliteit van onderzoeksgroepen moet daarom ook worden beoordeeld
aan de hand van de bijdrage die ze leveren aan het onderwijs in de bachelorfase maar
zeker ook in de (onderzoeks)masterfase. Andersom betekent dit ook dat bij het beoordelen van de wetenschappelijke productie rekening moet worden gehouden met de mate
waarin onderzoeksgroepen hun tijd niet volledig aan onderzoek hebben kunnen besteden. De decanen stelden vast dat kwaliteit zeker ook is af te meten aan maatschappelijke
relevantie (bij de discipline met name aantoonbaar via het lidmaatschap van belangrijke
organisaties op het terrein van rechtspraak of recht en beleid), maar tegelijkertijd duidelijk moet zijn dat de scheidslijn tussen wetenschappelijke kwaliteit en maatschappelijke
toepassing van het voorgestelde raamwerk: enkele voorbeelden
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 31
31
2/20/2013 4:16:32 PM
relevantie niet altijd nauw te trekken valt omdat bepaalde producten beide in zich
kunnen verenigen. Ze wezen in dit verband op zogenaamde annotaties, in het geval deze
behalve een op de praktijk gerichte bespreking van het vonnis of arrest ook nieuwe wetenschappelijke inzichten bevatten. Met de door de decanen geconcretiseerde inkleuring
van de indicatoren op zak, bleken de te visiteren onderzoeksgroepen uitstekend in staat
de kwaliteit van hun onderzoek te verantwoorden in het licht van zowel de eigen onderzoekstraditie als de externe wetenschappelijke maatstaven.
32
naar een raamwerk voor de kwaliteitsbeoordeling
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 32
2/20/2013 4:16:32 PM
6. aanbevelingen
Vervolgstap nodig
Dit adviesrapport draagt met reden de titel Naar een raamwerk voor de kwaliteitsbeoordeling van sociaalwetenschappelijk onderzoek. Het geeft geen kant-en-klaar beoordelingssysteem, maar een kader waarbinnen bestuurders kwaliteitsbeoordelingen in
de sociale wetenschappen vorm en inhoud kunnen geven. De achtergrond hiervoor
is enerzijds gelegen in de wens recht te doen aan de grote diversiteit in kwaliteitsculturen binnen de sociale wetenschappen en anderzijds in de door de commissie
vastgestelde noodzaak dat de onderzoekers in de diverse vakgebieden zelf verantwoordelijkheid nemen voor het zichtbaar en toetsbaar maken van de kwaliteit in het
eigen vakgebied. Dat betekent echter niet dat dit adviesrapport vrijblijvend is. Het
doet heldere uitspraken over de uitgangspunten voor de kwaliteitsbeoordeling van
sociaalwetenschappelijk onderzoek en roept de adressanten van dit adviesrapport –
de decanen en de onderzoeksdirecteuren op het gebied van de sociale wetenschappen,
maar evenzeer de visitatiecommissies en niet in de laatste plaats de onderzoekers
zelf – op deze te onderschrijven en concreet aan het werk te gaan met het voorgestelde
raamwerk voor de kwaliteitsbeoordeling.
Het identificeren van kwaliteitsindicatoren binnen elk van de zes beoordelingscriteria is een stap die de onderzoekers zelf moeten zetten. Beoefenaars van het
betreffende vakgebied zijn in beginsel gehouden aan de kwaliteitsindicatoren en
hun gewichten die binnen dat vakgebied zijn overeengekomen, tenzij zij met redenen omkleed kunnen aangeven waarom hiervan zou moeten worden afgeweken. In
principe geldt het adagium: ‘comply or explain’. Afwijkingen zouden eveneens voorafgaand aan de beoordelingsprocedure moeten worden overeengekomen in de ‘terms of
reference’ tussen beoordelaars en beoordeelden.
aanbevelingen
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 33
33
2/20/2013 4:16:32 PM
In dit licht pleit het adviesrapport ervoor dat de vakgebieden, bijvoorbeeld via de
disciplineoverlegorganen of de onderzoekscholen, binnen afzienbare termijn kwaliteitsindicatoren en hun gewichten vaststellen ten behoeve van de kwaliteitsbeoordeling van sociaalwetenschappelijk onderzoek. Het vaststellen van deze indicatoren
heeft als bijkomend voordeel dat het de kwaliteitscultuur – en daarmee de ‘standaarden’ ten aanzien van missie, doelgroepen, wijzen van communicatie en kwaliteitsindicatoren – binnen het eigen vakgebied explicieter en daarmee ook zichtbaarder
maakt. Onderzoekers uit andere vakgebieden die bij ex ante kwaliteitsbeoordelingen
bij beoordelende instanties zoals NWO zijn betrokken, kunnen daardoor meer inzicht
verkrijgen in de verschillen in kwaliteitsculturen tussen vakgebieden, daarmee rekening houden bij hun beoordelingen, en aldus ook recht doen aan vakgebiedspecifieke
beoordelingsmaatstaven.
In het verlengde daarvan pleit het adviesrapport ervoor dat de desbetreffende
opdrachtgevers voor de kwaliteitsbeoordeling vakgebiedspecifieke kwaliteitsbeoordelingen in de sociale wetenschappen mogelijk maken. Het verdient aanbeveling de
vaststelling van een dergelijk referentiekader als een afzonderlijke fase aan het begin
van de beoordelingsprocedure te organiseren in nader overleg met de beoordeelden,
zodat zowel beoordelaars als beoordeelden over hetzelfde beoordelingsinstrumentarium beschikken en daarmee weten waar ze aan toe zijn.
Algemene uitgangspunten bij kwaliteitsbeoordelingen
De volgende uitgangspunten hebben een algemeen geldende waarde bij kwaliteitsbeoordelingen:
• De kwaliteitsbeoordeling betreft een set algemeen geldende beoordelingscriteria,
waarbinnen specifieke kwaliteitsindicatoren en hun gewichten kunnen worden
geïdentificeerd en geëxpliciteerd. Op deze wijze wordt recht gedaan aan twee
gerechtvaardigde wensen die op het eerste gezicht strijdig zijn: de wens van onderzoeksgroepen op hun eigen missie en kwaliteitscultuur te worden beoordeeld, én
de wens van bestuurders om te vergelijken tussen onderzoeksgroepen ter ondersteuning van strategische beslissingen over de inzet van menskracht en middelen.
• De kwaliteitsbeoordeling richt zich op twee kwaliteitsdomeinen: ‘wetenschappelijke kwaliteit’ en ‘maatschappelijke relevantie’, en binnen elk van deze domeinen
op drie beoordelingsdimensies: ‘aantoonbare productiviteit’, ‘aantoonbaar gebruik’
en ‘aantoonbare blijken van erkenning’.
• Binnen de set algemeen geldende beoordelingscriteria hebben onderzoekers/
onderzoeksgroepen het recht, maar ook de plicht om eigen kwaliteitsindicatoren
en hun gewichten te expliciteren die passend zijn voor het eigen vakgebied, en
daarover verantwoording af te leggen.
• Prestaties op de kwaliteitsindicatoren dienen transparant, traceerbaar en toetsbaar te zijn.
• Beoordelaars toetsen de gekozen kwaliteitsindicatoren en hun gewichten onder
34
naar een raamwerk voor de kwaliteitsbeoordeling
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 34
2/20/2013 4:16:32 PM
andere op ambitieniveau, en beoordelen de geleverde prestaties op deze indicatoren. Bij deze beoordeling is niet zozeer de kwantiteit van een enkele parameter
belangrijk, maar de balans van alle zes beoordelingscriteria. Dit is niet zozeer van
toepassing op de individuele onderzoeker, maar wel op de onderzoeksgroep.
• De ontwikkelingsfase van onderzoeker en onderzoeksgroep worden in de beoordeling meegewogen.
• Prestaties op de kwaliteitsindicatoren voor maatschappelijke relevantie tellen pas
mee wanneer ze berusten op en traceerbaar zijn naar kwalitatief goede wetenschappelijke producten.
Met deze uitgangspunten zijn de contouren van de beoordelingssystematiek geschetst.
Of en hoe deze beoordelingssystematiek in de praktijk te brengen is, is afhankelijk van
de wijze waarop het veld van de sociale wetenschappen ermee aan de slag gaat. Dit
adviesrapport is zodanig opgesteld dat het handvatten biedt voor meerdere soorten
kwaliteitsbeoordelingen: jaargesprekken met wetenschappelijke medewerkers, benoemingen van hoogleraren, facultair investeringsbeleid, landelijke onderzoeksvisitaties,
etc. De opdracht aan het veld van de sociale wetenschappen is om met de geschetste
methodiek te experimenteren, zodat met concrete ervaringen invulling kan worden
gegeven aan het nieuwe Standard Evaluation Protocol (SEP), dat in 2015 ingaat.
Teneinde de landelijke kwaliteitsbeoordelingen te stroomlijnen, geeft dit adviesrapport hieronder een aantal aanbevelingen mee aan de opdrachtgevers, de onderzoekseenheden en de visitatiecommissies.
aanbevelingen aan de opdrachtgevers voor de kwaliteitsbeoordelingen
De opdrachtgevers voor de kwaliteitsbeoordelingen zijn doorgaans de (gezamenlijke)
decanen op het gebied van de sociale wetenschappen of hun onderzoeksdirecteuren.
Zij krijgen als motto mee: “Opdrachtgevers voor de kwaliteitsbeoordelingen zijn ervoor verantwoordelijk dat er een kwaliteitsbeoordelingssysteem is, en doen recht aan
inhoudelijke verschillen tussen vakgebieden”. Aanbevelingen aan deze opdrachtgevers
zijn:
• Stel de visitatiecommissie zodanig samen dat deze een oordeel kan vellen over de
zes globale beoordelingscriteria. Waak ervoor dat de visitatiecommissie zich een
oordeel kan vormen over de kwaliteitscultuur in het te beoordelen vakgebied; dit
om te voorkomen dat binnen het vakgebied een closed shop zou ontstaan. Daartoe kunnen bijvoorbeeld leden van de visitatiecommissie worden aangezocht die
relatieve buitenstaanders zijn en in ieder geval niet inhoudelijk betrokken zijn bij
het vakgebied. Bij de beoordeling van de maatschappelijke relevantie van sociaalwetenschappelijk onderzoek kunnen ook externe doelgroepen een belangrijke taak
hebben.
• Geef aan de visitatiecommissie een heldere opdracht mee.
• Stel de visitatiecommissie zodanig samen dat ze beschikt over kennis over
en gevoel voor beide kwaliteitsdomeinen (‘wetenschappelijke kwaliteit’ en
aanbevelingen
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 35
35
2/20/2013 4:16:32 PM
‘maatschappelijke relevantie’), en voorzie de visitatiecommissie van voldoende
relevante informatie over de beoordelingsprocedure en de daarbij te hanteren
beoordelingskaders.
• Benoem expliciet de mogelijkheid voor de visitatiecommissie om voor de inhoudelijke beoordeling van het wetenschappelijk werk van de te beoordelen onderzoeksgroepen een beroep te doen op inhoudsdeskundige referenten op de respectievelijke onderzoeksterreinen.
• Start tijdig met de beoordelingsprocedure zodat er ruimte is voor onderhandelingen over de kwaliteitsindicatoren en hun gewichten, resulterend in expliciete
overeenstemming over de te hanteren ‘terms of reference’ tussen beoordelaars en
beoordeelden.
aanbevelingen aan de onderzoekseenheden
De te evalueren onderzoekseenheden zijn doorgaans onderzoeksgroepen bij universiteiten of onderzoeksinstituten op het gebied van de sociale wetenschappen. Zij krijgen
als motto mee: “De te evalueren onderzoekseenheden hebben het recht op eigen kwaliteitsindicatoren en hun gewichten, maar ook de plicht daarover verantwoording af te
leggen”. Aanbevelingen aan deze onderzoekseenheden zijn:
• Houd bij het opstellen van het zelfevaluatierapport terdege rekening met de opdracht die aan de visitatiecommissie is gegeven.
• Expliciteer de eigen missie, doelgroepen en bijbehorende communicatiemiddelen,
zodat deze transparant, traceerbaar en toetsbaar zijn.
• Expliciteer voor elk van de zes beoordelingscriteria de kwaliteitsindicatoren en
hun gewichten. Als default gelden de kwaliteitsindicatoren en hun gewichten die
door het eigen vakgebied zijn ontwikkeld. Bij de verantwoording geldt het adagium
‘comply or explain’. Als er nog geen kwaliteitsindicatoren en hun gewichten in het
vakgebied zijn ontwikkeld, dient het betreffende vakgebied, bijvoorbeeld via de
disciplineoverlegorganen of de onderzoekscholen, deze op afzienbare termijn vast
te stellen ten behoeve van de kwaliteitsbeoordeling van sociaalwetenschappelijk
onderzoek.
Lever
een bijdrage aan de ontwikkeling van de kwaliteitscultuur in het eigen vakge•
bied door in de rol van peer de discussie in het vakgebied over kwaliteitsbeoordeling en kwaliteitsindicatoren te stimuleren.
• Neem verantwoordelijkheid door relevante gegevens over het eigen werk systematisch bij te houden en door verantwoording af te (willen) leggen over de kwaliteit
van het eigen werk.
aanbevelingen aan de visitatiecommissies
De visitatiecommissies krijgen als motto mee: “De visitatiecommissies beoordelen de
kwaliteit van het wetenschappelijk onderzoek binnen de context van de missie van de
onderzoekseenheid en stellen vooraf het instrumentarium daarvoor vast. Kwaliteit is
niet identiek aan kwantiteit”. Aanbevelingen aan de visitatiecommissies zijn:
36
naar een raamwerk voor de kwaliteitsbeoordeling
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 36
2/20/2013 4:16:32 PM
• Verifieer voorafgaand aan de beoordelingsprocedure of er sprake kan zijn van een
verschil in kwaliteitsculturen en of de kwaliteitsindicatoren en hun gewichten zijn
geëxpliciteerd voor elk van de zes beoordelingscriteria.
• Stel vast of/dat deze kwaliteitsindicatoren en hun gewichten acceptabel zijn, en
koppel tijdig terug als dat problemen kan opleveren.
• Relateer de beoordeling aan de missie van de onderzoekseenheden en aan de overeengekomen kwaliteitsindicatoren en hun gewichten.
• Maak in eerste instantie onderscheid tussen wel en niet voldoende zijn van het
werk van de onderzoekseenheden, en in tweede instantie tussen wel en niet excellent zijn van dat werk.
• Tellen is nooit voldoende. Onderzoekers verdienen een oordeel dat is gebaseerd op
de inhoud van hun wetenschappelijk werk.
aanbevelingen
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 37
37
2/20/2013 4:16:32 PM
bronnen
AO-consult (2012), Onderzoek publicatieculturen NWO-MaGW.
De Groot, A.D. (1986), Begrip van evalueren. (pp.137-152).
De Jonge Akademie (2012), De wetenschap van het publiceren.
Klandermans, Bert (oktober 2009), Gedrags- en maatschappijwetenschappen ondergewaardeerd.
Koninklijke Nederlandse Akademie van Wetenschappen (mei 2005), Judging research on its
merits.
Koninklijke Nederlandse Akademie van Wetenschappen (november 2010), Kwaliteitsbeoordeling in de ontwerpende en construerende disciplines.
Koninklijke Nederlandse Akademie van Wetenschappen (mei 2011), Kwaliteitsindicatoren voor
onderzoek in de geesteswetenschappen.
Koninklijke Nederlandse Akademie van Wetenschappen (2012a), Naar een adequaat systeem
voor de beoordeling van kwaliteit en relevantie van geesteswetenschappelijk onderzoek.
Koninklijke Nederlandse Akademie van Wetenschappen (2012b), Zorgvuldig en integer omgaan
met onderzoeksgegevens.
Koops, Willem (juni 2012), Bekentenissen van een decaan.
Ministerie van Onderwijs, Cultuur en Wetenschappen (2012), Rijksbegroting.
Vlaamse Raad voor Wetenschap en Innovatie (mei 2011), Naar waarde geschat. Valorisatie van
onderzoek in de humane en sociale wetenschappen.
38
naar een raamwerk voor de kwaliteitsbeoordeling
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 38
2/20/2013 4:16:32 PM
bijlage 1.
instellingsbesluit
commissie ‘kwaliteitsindicatoren
sociale wetenschappen’
(Kenmerk SWR/AV/3137)
Het bestuur van de KNAW, gelet op artikel 8 van het Reglement van de KNAW, overwegende dat de KNAW-adviezen Maatwerk in de kwaliteitsbeoordeling van de ontwerpende en construerende wetenschappen en Kwaliteitsindicatoren voor onderzoek in de
geesteswetenschappen in november 2010 resp. mei 2011 zijn verschenen, en dat het
Gebiedsbestuur Maatschappij- en Gedragswetenschappen (MaGW) van de Nederlandse Organisatie voor Wetenschappelijk Onderzoek (NWO) alsmede de decanen van
de faculteiten op het gebied van de sociale wetenschappen recent hebben aangegeven
behoefte te hebben aan betere beoordelingsinstrumenten voor sociaal-wetenschappelijk onderzoek, besluit op voordracht van de Sociaal-Wetenschappelijke Raad tot
het instellen van de adviescommissie ‘Kwaliteitsindicatoren sociale wetenschappen’,
hierna te noemen de commissie.
(Zie voor een toelichting op het probleem dat aanleiding is voor het advies de
bijlage (Voorstel voor werkprogramma KNAW-adviezen 2011 d.d. 7 januari 2011) die
integraal deel uitmaakt van dit instellingsbesluit.)
Artikel 1. Taakopdracht
De commissie heeft tot taak een adviesrapport voor te bereiden dat instanties die met
beoordeling van sociaal-wetenschappelijk onderzoek te maken hebben, handvatten
aanreikt voor het opstellen van goede beoordelingsinstrumenten en in het bijzonder
kwaliteitsindicatoren op het gebied van de sociale wetenschappen. Het beoogde effect
is dat deze instanties het advies in betere beoordelingsinstrumenten uitwerken.
De commissie draagt zorg voor aanbieding van genoemde rapportage aan het
bestuur uiterlijk in december 2012.
Artikel 2. Samenstelling en instellingsduur
Tot lid van de commissie worden op persoonlijke titel benoemd:
• Voorzitter: prof. dr. J.M. (Jozien) Bensing (psychologie, UU)
• Andere leden:
prof. dr. R. (Rudy) Andeweg (politicologie, UL)
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 39
bijlagen
39
2/20/2013 4:16:32 PM
prof. dr. Ph.H.B.F. (Philip Hans) Franses (decaan Erasmus School of Economics,
EUR)
prof. dr. B. (Birgit) Meyer (antropologie, UU)
prof. dr. J.E.J. (Corien) Prins (rechtswetenschappen, UvT)
prof. dr. mr. C.J.M. (Kees) Schuyt (sociologie, UvA)
De commissie wordt ingesteld tot 1 januari 2013.
De commissie wordt ondersteund vanuit het bureau van de KNAW5 overeenkomstig de aanwijzingen van de Algemeen directeur.
Artikel 3. Kwaliteitsbeheer
De leden van de commissie hebben voordat zij benoemd zijn, kennis genomen van de
Preambule op Belangenverklaring Adviescommissie en het Formulier Belangenverklaring Adviescommissie KNAW ingevuld en geretourneerd. De leden hebben verklaard dat
er geen verstrengeling van belangen ontstaat door deel te nemen aan deze commissie.
Het beleid omtrent peer review is beschreven in het Beleidskader Kwaliteitsborging
Adviezen. Van dit beleid wordt niet afgeweken.
Artikel 4. Nazorg en communicatie
De commissie besteedt aandacht aan de nazorg en communicatie rondom haar bevindingen.
Artikel 5. Kosten en vergoedingen
De leden ontvangen op basis van art. 18 lid 2 van het Reglement van de KNAW een
vergoeding voor de gemaakte reiskosten.
Artikel 6. Geheimhouding
De commissie neemt geheimhouding in acht ten aanzien van alle informatie die in
het kader van de uitvoering van dit besluit bekend wordt en waarvan het karakter als
vertrouwelijk is aan te merken.
Aldus vastgesteld door het bestuur van de Koninklijke Nederlandse Akademie van
Wetenschappen op 11 oktober 2011 te Amsterdam.
namens het bestuur van de KNAW,
Dr. K.H. Chang
Algemeen directeur
5 Mw. dr. A. (Ans) Vollering (senior beleidsmedewerker, KNAW) was secretaris van de commissie.
40
naar een raamwerk voor de kwaliteitsbeoordeling
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 40
2/20/2013 4:16:32 PM
Aan dagelijks bestuur van de KNAW
Van bestuur Sociaal-Wetenschappelijke Raad
Datum 7 januari 2011
Kenmerk SWR/AV/323.not
Voorstel voor werkprogramma KNAW-adviezen 2011
Titel voorstel
‘Kwaliteitszorg sociale wetenschappen’
1. Welke vraag of welk probleem vormt de aanleiding voor het advies?
De sociale wetenschappen kennen veel meer dan bijvoorbeeld de natuurwetenschappen en de geesteswetenschappen heterogeniteit in de aard van de disciplines die
hieronder vallen. Het zal een ieder duidelijk zijn dat strafrechtjuristen een ander vak
uitoefenen dan neuropsychologen, ondanks het feit dat de toenemende kennis van het
menselijk brein het strafrecht voor nieuwe uitdagingen plaatst.
Vooral bij onderzoeksbeoordelingen wordt tot nu toe nauwelijks recht gedaan
aan deze heterogeniteit, en daardoor is een fair oordeel over de kwaliteit van sociaalwetenschappelijk onderzoek niet mogelijk.
De problematiek bij beoordeling van sociaal-wetenschappelijk onderzoek spitst
zich toe op twee samenhangende punten:
1. Hoe kan men bij de beoordeling recht doen aan de verschillen in publicatiecultuur
tussen de verschillende disciplines en voorkomt men dat een ‘one-size-fits-all’beoordeling dominant is? Daarbij gaat het niet alleen om de vraag hoe je recht doet
aan de variëteit in wetenschappelijke producten (naast artikelen en boeken ook
annotaties etc.), maar vooral om de vraag wat bijbehorende kwaliteitscriteria zijn.
Daarbij speelt ook dat sommige vakgebieden binnen de sociale wetenschappen
fenomenen bestuderen binnen de nationale context. De verschillen in publicatiecultuur zijn overigens, meer in het algemeen, al genoemd in het KNAW-advies
Judging research on its merits (2005). Dit advies behoeft nadere uitwerking voor de
sociale wetenschappen.
2. Hoe kan men bij de beoordeling recht doen aan de maatschappelijke relevantie van
sociaal-wetenschappelijk onderzoek? Daarbij gaat het om de vraag hoe de kwaliteit
van maatschappelijke impact zou kunnen worden gemeten en beoordeeld. Dit is
niet alleen een kwestie tussen disciplines (economische kennis wordt anders benut
door bedrijfsleven en overheden dan psychologische kennis), maar ook binnen
disciplines (mensenrechtenjuristen adresseren een ander forum dan bestuursrechtjuristen). Ook hier is sprake van een grote diversiteit aan kanalen waarlangs
wetenschappelijke kennis zijn weg vindt naar de samenleving: van vakbladen
voor praktijkbeoefenaren en van belangrijke adviesraden tot bijdragen aan de
bijlagen
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 41
41
2/20/2013 4:16:32 PM
opiniepagina’s van de dagbladen. Bij de benutting van kennis in de maatschappelijke context spelen belangrijke vragen van zorgvuldig omgaan met - en mogelijk
misbruik van – deze kennis. In veel gevallen zijn de gebruikers van de resultaten
zelf onderwerp van het onderzoek.
Onderzoeksfinanciers en universitaire bestuurders hebben aangegeven behoefte te
hebben aan betere beoordelingsinstrumenten voor sociaal-wetenschappelijk onderzoek. Zij erkennen dat er verschillen zijn in publicatieculturen voor disciplines binnen
de sociale wetenschappen maar ex ante en ex post beoordeling van sociaal-wetenschappelijk onderzoek vindt merendeels nog plaats op basis van dezelfde indicatoren.
Daardoor ervaren zij een lacune in de beoordeling van het sociaal-wetenschappelijk
onderzoek.
Het advies zal ingaan op de criteria om goede beoordelingsinstrumenten voor het
sociaal-wetenschappelijke onderzoek te ontwikkelen. Enerzijds is voor de sociale
wetenschappen een verdiepingsslag nodig van het KNAW-advies Judging research on
its merits. Anderzijds zal nadruk liggen op de maatschappelijke impact van sociaalwetenschappelijk onderzoek en antwoord geven op vragen als ‘Hoe meet je de effecten
van sociaal-wetenschappelijk onderzoek op de samenleving?’ en ‘Welke mechanismen
dragen bij aan de doorwerking van sociaal-wetenschappelijk onderzoek in de maatschappij?’.
Het advies zal aansluiten op het gedachtegoed van: (a) het KNAW-advies ‘Kwaliteitsbeoordeling in de ontwerpende en construerende disciplines’ (2010); (b) het
onderhanden werk van de Raad voor Geesteswetenschappen op het gebied van de
kwaliteitsbeoordeling in de geesteswetenschappen (KNAW-advies, nog te verschijnen); (c) Evaluation Research in Context, waarin de KNAW participeert; (d) de adhoccommissie van de European Science Foundation die bezig is met de problematiek van
de kwaliteitsindicatoren op het gebied van de sociale wetenschappen.
Er is een opmerkelijke parallel met de ontwerpende en construerende wetenschappen als het gaat om de diversiteit in de wetenschappelijke producten, maar de
wetenschappelijke producten in de sociale wetenschappen zijn van een andere orde.
De parallel tussen sommige vakgebieden binnen de sociale wetenschappen en de
geesteswetenschappen bestaat eruit dat zij merendeels contextueel zijn gebonden,
waardoor hun internationale oriëntatie endogeen is. Ten aanzien van de maatschappelijke impact is er veel minder sprake van parallellen tussen de ontwerpende en
construerende wetenschappen, en de geesteswetenschappen enerzijds en de sociale
wetenschappen anderzijds, omdat in de sociale wetenschappen menselijk gedrag en
maatschappelijke processen altijd zelf het onderwerp van bestudering zijn. Dat stelt
niet alleen andere eisen aan de zorgvuldigheid in de kennisoverdracht, maar leidt,
zoals hierboven al aangegeven, ook eerder tot ‘contested knowledge’ vanuit maatschappelijke belangen.
42
naar een raamwerk voor de kwaliteitsbeoordeling
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 42
2/20/2013 4:16:32 PM
2. Doel en effect: wat willen we met het advies bereiken?
Het advies wil instanties die met beoordeling van sociaal-wetenschappelijk onderzoek
te maken hebben, handvatten aanreiken voor het opstellen van goede beoordelingsinstrumenten. Het beoogde effect is dat deze instanties het advies in betere beoordelingsinstrumenten uitwerken.
3. Voor wie is het bedoeld?
Het advies is bedoeld voor instanties die met beoordeling van sociaal-wetenschappelijk onderzoek te maken hebben. De primaire doelgroep wordt gevormd door decanen
op het gebied van de sociale wetenschappen in brede zin. De secundaire doelgroep
omvat beoordelende instanties zoals NWO. Beide doelgroepen hebben de diversiteit in
publicatiecultuur en valorisatie op hun agenda staan.
4. Aard van het advies
[adviesrapport, briefadvies, verkenning]
Adviesrapport.
5. Wanneer moet het advies gereed zijn?
[Maand van publicatie van het KNAW-advies, plus eventueel belangrijke data voor
doelgroep]
De streefdatum voor het advies is eind september / begin oktober 20116. Rondom
deze datum zijn er vergaderingen van de Disciplineoverlegorganen op het gebied van
de sociale wetenschappen.
6 Datum was ten tijde van de ondertekening van het Instellingsbesluit Commissie 'Kwaliteitsindicatoren sociale wetenschappen' achterhaald.
bijlagen
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 43
43
2/20/2013 4:16:32 PM
bijlage 2.
enkele buitenlandse
ervaringen
met ‘maatschappelijke relevantie’ bij
kwaliteitsbeoordelingen
De centrale vraag in deze bijlage is: Hoe doet het buitenland het met maatschappelijke
relevantie?7. Dit geldt in het bijzonder voor de volgende typen kwaliteitsbeoordelingen:
• De beoordelingen van individuele onderzoekers door universiteiten in het kader
van bevorderingen en werving.
• De beoordeling en visitatie van onderzoeksgroepen.
• De beoordeling van onderzoeksvoorstellen in het kader van competitieve financiering.
Individuele carrièrebeoordelingen
Er is weinig systematisch onderzoek naar de wijze waarop landen omgaan met het
begrip maatschappelijke relevantie bij individuele carrièrebeoordelingen. Wel is er
enige informatie over de wijze waarop buitenlandse universiteiten ermee omgaan.
Die praktijken variëren: sommige universiteiten hebben een schema zoals het schema
uit dit adviesrapport; andere hanteren meer algemene richtlijnen die verwijzen naar
onderzoek, onderwijs en management.
Enkele voorbeelden zijn:
• De universiteit van Harvard (Verenigde Staten) maakt een onderscheid naar drie
typen professors, waaronder degenen die een substantiële bijdrage leveren aan
het ontwikkelen van Clinical Expertise. Men onderscheidt expertise, recognition en
scholarship.
• In Zweden zijn criteria voor hoogleraarsbenoemingen wettelijk vastgelegd. De wet
spreekt alleen over onderzoek en onderwijs. Universiteiten kunnen daar eventueel
eigen criteria aan toevoegen. Bijvoorbeeld de universiteit van Gotenburg doet dit,
maar kijkt daarbij vooral naar managementvaardigheden.
7 Deze bijlage is opgesteld op basis van informatie aangeleverd door dr. Barend van der
Meulen (Hoofd Science System Assessment bij het Rathenau Instituut).
44
naar een raamwerk voor de kwaliteitsbeoordeling
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 44
2/20/2013 4:16:33 PM
• Het University College Dublin (Ierland) kent een ’Senior management pathway’, met
ook aandacht voor outreach-activiteiten als:
• “Making a substantial contribution to intellectual, cultural, social, or economic
life at institutional, regional, national or international level.
• Having a substantial beneficial influence on the development or application of
public or professional policy or practice at institutional, regional, national or
international level.
• Significant engagement with and positive impact on areas of community activity
at local and international level arising from scholarship activity.
• Developing and maintaining innovative and/or creative relationships, including
secondments or other forms of service, with external bodies at a regional, national or international level, bringing a substantial benefit to the University as well
as a reciprocal benefit to society.
• Establishing a successful company of benefit to the local or national economy”
• De universiteit van Massay (Wellington, Nieuw-Zeeland) kent de Pathways to Professor Booklet met aandacht voor de ”excellence and leadership in service both to
the university and the external community”.
De beoordeling en visitatie van onderzoeksgroepen
Nationale systemen van beoordeling en visitatie van onderzoeksgroepen onderscheiden zich naar de mate waarin:
• de beoordeling gebeurt op basis van kwantitatieve prestaties of op basis van visitaties door panels;
en/of
• de beoordelingsresultaten zijn gekoppeld aan financiering van onderzoek.
Nederland loopt internationaal voorop in de systematiek voor onderzoekvisitaties
en de aanpak die begin jaren 1990 door NWO, de KNAW en de VSNU is ontwikkeld
(met een protocol, zelfevaluatierapporten, een visitatiecommissie en al dan niet een
bibliometrische analyse). Deze systematiek heeft veel navolging in het buitenland. Dit
gebeurt soms via nationale exercities (zoals bijvoorbeeld in Noorwegen die door de
Research Council of Norway worden georganiseerd) en soms door afzonderlijke universiteiten (zoals onlangs bij de Universiteit van Helsinki in Finland). Vaak staat dan,
net als in de Nederlandse systematiek, maatschappelijke relevantie in het protocol.
Er zijn geen aanwijzingen dat er in het buitenland betere methoden zijn om hier
handen en voeten aan te geven.
Daarnaast zijn er de performance based-systemen, waarbij de uitkomsten ook aan
bekostiging gekoppeld kunnen zijn.
Voorbeelden zijn:
• Vlaanderen, waar de zogenaamde BOF-gelden (Bijzonder Onderzoeks Fonds) worden verdeeld op basis van een outputformule. In deze systematiek is geen ruimte
voor het begrip maatschappelijke relevantie. Er is wel veel discussie over hoe de
bijlagen
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 45
45
2/20/2013 4:16:33 PM
‘afwijkende’ output van de geesteswetenschappen en de sociale wetenschappen in
de formule kan worden opgenomen.
• Het Verenigd Koninkrijk, waar de uitkomsten van wat nu het Research Excellence
Framework heet (vroeger Research Assessment Exercise) worden gebruikt door de
Higher Education Funding Councils om wat in Nederland de ‘eerste geldstroom
voor onderzoek’ zou worden genoemd, te verdelen onder universiteiten.
In de Britse systematiek is veel aandacht voor impact en lijkt de systematiek steeds
meer op de Nederlandse. Onderzoekseenheden die ter beoordeling worden aangemeld, worden door experts beoordeeld op ‘overall quality’, ‘outputs’, ‘impact’ en
‘research environment’. De handleiding voor het panel dat verantwoordelijk is voor
de sociale wetenschappen (C2) geeft een uitgebreide toelichting op de mogelijke
output die mag worden opgenomen, een specificatie van de beoordelingsschaal, en
een uitwerking van de criteria (bron: www.ref.ac.uk/panels/assessmentcriteriaandleveldefinitions):
“The main panel acknowledges that impact within its remit may take many forms
and occur in a wide range of spheres. These may include (but are not restricted to):
creativity, culture and society; the economy, commerce or organisations; the environment; health and welfare; practitioners and professional services; public policy,
law and services. The categories used to define spheres of impact, for the purpose
of this document, inevitably overlap and should not be taken as restrictive. Case
studies may describe impacts which have affected more than one sphere.
Impact of any type may be local, regional, national or international, in any part of
the world. The beneficiaries of impact may include (but are not restricted to) community/ies, the environment, individuals and organisations. The panel will treat
all forms and spheres of impact and any beneficiaries described on an equal basis,
assessing them according to the generic REF criteria of reach and significance.
HEIs are reminded that impacts on research or the advancement of academic
knowledge within the higher education sector (whether in the UK or internationally) are excluded. Other impacts within the HE sector that meet the definition
of impact for the REF are included where they extend significantly beyond the
submitting HEI. (See “Guidance on submissions”, Annex C.)”
Een toelichtende tabel geeft voor verschillende subgebieden voorbeelden van wat
als impact kan gelden.
De beoordeling van onderzoeksvoorstellen in het kader van
competitieve financiering
Hoewel dit adviesrapport niet ingaat op de beoordeling van onderzoeksvoorstellen in
het kader van competitieve financiering, zijn er op dat gebied toch lessen te leren over
de wijze waarop wordt omgegaan met het begrip maatschappelijke relevantie.
In de Angelsaksische en Scandinavische landen is de beoordeling op maatschappelijke relevantie een belangrijk item. Voor de zusterorganisaties van NWO
in deze landen geldt dat het niet gemakkelijk is maatschappelijke relevantie in de
46
naar een raamwerk voor de kwaliteitsbeoordeling
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 46
2/20/2013 4:16:33 PM
onderzoeksvoorstellen mee te nemen. Veelal gebeurt het door in het protocol een
aparte dimensie voor maatschappelijke relevantie op te nemen die vervolgens wordt
gespecificeerd. De mate waarin deze dimensie van belang is, hangt ook af van het
financieringsschema (zoals programmatische financiering versus open competitie).
Een voorbeeld is de situatie in het Verenigd Koninkrijk. De ESRC maakt een leerproces door rond de evaluatie van wat eerst user relevance heette, en tegenwoordig
impact. Dit heeft geresulteerd in een serie studies en pogingen om de impact van
sociaalwetenschappelijk onderzoek te meten en te evalueren. Belangrijke observaties
en conclusies ten aanzien van het leerproces van de ESRC zijn:
• De ERSC verwacht niet dat al het onderzoek sociaaleconomische impact heeft.
Excellente wetenschappelijke projecten die geen sociaaleconomische impact hebben, worden niet ‘gestraft’.
• Factoren die de impact bevorderen, zijn:
• Geïnstitutionaliseerde relaties en netwerken met user communities.
• Goed georganiseerde betrokkenheid van gebruikers in onderzoek.
• Portfolio van onderzoeksprojecten met relevantie voor gebruikers.
• Betrokkenheid van intermediaire organisaties, platforms e.d.
• Het kwantificeren van impact is zeer moeilijk en “remains challenging”.
• Het is van belang dat onderzoekers in hun onderzoeksvoorstel een robuust impactplan hebben waarmee de kans dat er sociaaleconomische impact is, zo groot mogelijk wordt. Als er geen impact kan worden verwacht, moet dat worden beredeneerd
in het impactplan.
Conclusies
Hoewel het begrip peer review vaak als overall-term wordt gebruikt en daardoor
wordt gesuggereerd dat er uniformiteit is in beoordelingspraktijken, blijkt dat er een
grote variatie in die beoordelingspraktijken is. Deze bijlage geeft een korte impressie
van ervaringen met de wijze waarop het begrip maatschappelijke relevantie bij drie
typen kwaliteitsbeoordelingen handen en voeten heeft gekregen.
Belangrijke conclusies zijn:
• In landen waar veel druk is op research council(s) en universiteiten om maatschappelijk relevant te zijn, is dit terug te vinden in de beoordelingscriteria.
• In een aantal landen heeft dit geleid tot een meer systematisch raamwerk voor de
kwaliteitsbeoordeling waarin maatschappelijke relevantie een plaats heeft gekregen.
• Maatschappelijke relevantie claimen is niet genoeg – inspanningen daartoe en
resultaten (gebruik, reputatie) moeten aanwijsbaar zijn.
bijlagen
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 47
47
2/20/2013 4:16:33 PM
48
naar een raamwerk voor de kwaliteitsbeoordeling
KNAW_advies_Kennisindicatoren Sociale wetenschappen.indd 48
2/20/2013 4:16:33 PM