Rekenkamers hinken op twee gedachten

Rekenkamers
hinken op twee
gedachten
Begroting en rekening
Sinds 2006 moeten gemeenten een lokale rekenkamer(functie) hebben.
Deze rekenkamer is in het leven geroepen om bij te dragen aan de dualisering
van het politieke spel tussen de raden en hun colleges. Regelmatig vindt
onderzoek plaats naar het nut en het functioneren van zo’n rekenkamer. Een
goede rekenkamerfunctie is niet alleen afhankelijk van een juiste vormgeving,
maar vooral ook van de juiste aanpak van het onderzoek naar de resultaten.
Pim Praat Bestuurskundig onderzoeker, secretaris van Rekenkamercommissie Noordoost-Fryslân en lid van
Rekenkamercommissie Zuidhorn.
Mark Daamen Senior auditing consultant bij ACS te Driebergen, docent Operational auditing bij Avans+
en lid van de gezamenlijke rekenkamercommissie van Blaricum, Eemnes en Laren.
De discussie over de rekenkamerfunctie
zelf (in bijeenkomsten, tijdschriften, etc.)
ging aanvankelijk vooral over de meest
wenselijke vormgeving en positionering in
het lokale politieke krachtenveld. Denk
aan kwesties als: moet het een rekenkamer of een -commissie worden? Moeten
er, als het een commissie wordt, wel of
geen raadsleden in de commissie? En wie
gaat dan over de onderzoeksagenda van
de commissie: de raad of de commissie
zelf? Enzovoorts. Aanvankelijk zagen we
dus vooral een structuurdiscussie.
Over de aanpak is veel minder gepubliceerd. Als we het over ‘aanpak’ hebben,
moeten we onderscheid maken tussen de
onderzoekstechnische aanpak enerzijds en
de ‘tips en trucs’ met betrekking tot de
slimme organisatorische aanpak van
rekenkameronderzoek anderzijds. De
eerste concrete ervaringen met rekenkameronderzoek hebben al wél aanleiding
gegeven tot publicaties over de organisatorische aanpak1. De methodiek van lokaal
rekenkameronderzoek is echter nog nauwelijks voorwerp van analyse en discussie
geweest. In deze bijdrage maken wij hierover een aantal opmerkingen.
Merkwaardig
Uit diverse onderzoeken en evaluaties
blijkt dat rekenkameronderzoek vooral
gefocust is op procedures en randvoorwaarden. Zelden worden uitspraken
gedaan over de vraag of het onderzochte
beleid daadwerkelijk is uitgevoerd en in
welke mate er maatschappelijke effecten
zijn behaald2. Dit is een belangrijk gegeven. Uit Leren afrekenen (de tussentijdse
evaluatie van de ontwikkeling van de lokale rekenkamerfuncties door het Ministerie
van BZK) blijkt dat rekenkamers wel meer
gericht zouden willen zijn op de vraag of
het beleid is uitgevoerd en de beoogde
maatschappelijke effecten gerealiseerd
zijn3 . Men wil dus wel, maar in de praktijk
gebeurt het niet. Wat zit daarachter?
Doelmatig en doeltreffend
‘De rekenkamer onderzoekt de doelmatigheid, doeltreffendheid en rechtmatigheid
van het door het gemeentebestuur
gevoerde bestuur’, zo luidt de opdracht
van de wetgever aan de rekenkamers. Dat
is veel gemakkelijker gezegd dan gedaan.
Want wat betekent dat nu precies?
In 2001 heeft het Ministerie van Financiën
in de Regeling Prestatiegegevens en Evalu-
Polhuis en Verdellen in B&G, januari 2008, Praat in B&G, oktober 2009.
V. Put, Met welke bril kijken auditors naar de werkelijkheid? Normen van rekenhoven bij het beoordelen van de overheid, die keure, Antwerpen, 2006, T. Brandsen c.s., Leren afrekenen. Een voorlopige evaluatie van lokale en provinciale rekenkamer(commissie)s, Den Haag, 2007, Ministerie van
BZK, Staat van de dualisering, Den Haag, 2008.
3
Ministerie van BZK: Staat van de dualisering, Den haag 2008.
4
V. Put, Met welke bril kijken auditors naar de werkelijkheid? Normen van rekenhoven bij het beoordelen van de overheid, die keure, Antwerpen, 2006.
1
2
atieonderzoek Rijksoverheid een schema
opgenomen over doelmatigheid en doeltreffendheid.
Doeltreffendheid heeft in deze (gangbare)
opvatting betrekking op de relatie tussen
de output van de organisatie en de daarmee bereikte outcomes (maatschappelijke
effecten).
Met de term doelmatigheid wordt gedoeld
op:
de verhouding tussen ingezette productiemiddelen en de gerealiseerde output
(‘doelmatigheid van de bedrijfsvoering’) óf
de verhouding tussen ingezette productiemiddelen en de gerealiseerde maatschappelijke effecten (‘doelmatigheid van
beleid’, kosteneffectiviteit)
Dit betekent dus dat de wetgever de
rekenkamers opdraagt om onderzoek te
doen naar de vraag of het beleid en de
beoogde maatschappelijke effecten daarvan gerealiseerd zijn. Zoals gezegd geven
rekenkamers zelf ook aan hiernaar meer
onderzoek te willen doen. Tegelijkertijd
blijkt uit onderzoek dat zij deze wens
nauwelijks in praktijk brengen. Volgens
verschillende auteurs moet dit worden
verklaard doordat onderzoek naar doelbereiking niet of nauwelijks haalbaar is4 .
Bijvoorbeeld doordat nooit precies
(SMART) is aangegeven, wat de opdrachtgever met het beleid wilde bereiken. En
zonder doelen is geen doeltreffendheidsbeoordeling mogelijk. Als wél bekend is
wat de precieze doelstellingen van het
beleid waren, ontbreken vaak de gegevens
aan de hand waarvan kan worden vastge-
B&G JULI/AUGUSTUS 2010
27
Begroting en rekening
Doelmatigheid van beleid
cost-effectiveness (kosteneffectiviteit)
Doelmatigheid van bedrijfsvoering
efficiency
Zuinigheid
economy
Input
Throughput
Output
Outcomes
Middelen
personeel, materiaal, geld
Productieproces
Prestaties
producten, diensten, activieten
Effecten
(te relateren aan doelstellingen van beleid)
Doeltreffendheid van beleid
Effectivity
steld in hoeverre gestelde doelen zijn
gehaald. Dat is op zich niet onoverkomelijk, want die gegevens zijn vaak nog wel te
verzamelen. Maar zelf meten is duur en
voor rekenkamers met beperkte budgetten meestal onhaalbaar.En áls al precies
kan worden vastgesteld in hoeverre van
doelbereiking sprake is, komt het toeschrijvingsprobleem om de hoek kijken. In
hoeverre waren waargenomen veranderingen het gevolg van het handelen van de
beleidsvoerder en niet aan andere actoren
of factoren te danken?5
Reactief of proactief onderzoeken
In de meeste onderzoeksprotocollen van
rekenkamers is opgenomen wat zij onder
doeltreffendheid en doelmatigheid verstaan. Veelal is dit in overeenstemming de
definitie van het Ministerie. In het plan
van aanpak voor een onderzoek leidt dit
vaak tot onderzoeksdoelstellingen en
centrale onderzoeksvragen waarin is opgenomen ‘of de beoogde doelen zijn gehaald
en het maatschappelijke effect (outcomes)
zijn gerealiseerd’. Tegelijkertijd worden in
hetzelfde plan normenkaders opgesteld.
Deze normenkaders zijn veelal gericht op
de randvoorwaarden en procedures.
5
6
Hier gaat onderzoeksmethodologisch iets
mis. Om voldoende objectief te kunnen
onderzoeken of beoogde doelen daadwerkelijk zijn bereikt, moet je als rekenkamer
achteruit kijken (reactief). Het beleid moet
immers uitgevoerd zijn om te kunnen
beoordelen of het gerealiseerd is. Normenkaders (gericht op procedures en
randvoorwaarden) zijn juist toekomstgericht. Voldoe je aan deze randvoorwaarden
en procedures, dan kun je met een bepaalde mate van zekerheid zeggen dat de
beoogde doelstellingen en maatschappelijke effecten gerealiseerd zullen worden
(proactief). Zo zou je dus proactief uitspraken doen over de vraag of beleid iets
heeft opgeleverd (reactief). Dat is onderzoeksmethodologisch niet mogelijk.
Doordat rekenkamers in de praktijk vaak
toch deze combinatie maken, hinken zij op
twee gedachten. Dat heeft tot gevolg dat
beide varianten onvoldoende worden
uitgewerkt.
1.Zuiver effectiviteitsonderzoek wordt
zelden uitgevoerd omdat het niet of
nauwelijks mogelijk is. Deze constatering wordt volgens de Belgische onder-
De suggestie die uitgaat van allerlei ingewikkelde onderzoeksdesigns als zou daarmee de toeschrijvingsvraag wél bevredigend beantwoord kunnen worden is niet evidence based. Behalve dat ze
voor de doorsnee rekenkamer te bewerkelijk zijn, bieden ze dus ook geen uitzicht op succes.
V. Put, Met welke bril kijken auditors naar de werkelijkheid? Normen van rekenhoven bij het
beoordelen van de overheid, die keure, Antwerpen, 2006.
28
zoeker Vital Put beaamd door de Algemene Rekenkamer. De Algemene
Rekenkamer geeft aan dat het zeer
moeilijk is een goed effectiviteitsonderzoek uit te voeren. De Algemene Rekenkamer doet dan ook zelden onderzoek
naar de ‘zuivere effectiviteit’, blijkt uit
datzelfde onderzoek. Tweederde van de
uitgevoerde onderzoeken hebben enkel
betrekking op interne procedures en
randvoorwaarden6.
2.In normenkaders worden procedures en
randvoorwaarden veelal te summier en
onvoldoende concreet uitgewerkt. Dit
komt doordat bij het opstellen van deze
normenkaders onterecht de focus ligt
op de doelbereikingsvraag. Een combinatie die niet mogelijk is.
Voorstel
Betekent dit nu dat de lokale rekenkamers
opgezadeld zijn met een onmogelijke
opdracht? Allerminst! In vakkringen (de
wetenschap, nationale rekenkamers) zijn al
deze problemen allang onderkend en van
oplossingen voorzien. Eén van de oplossingsrichtingen gaat daarbij uit van het
verleggen van de aandacht van de feitelijke effectiviteit naar de organisatie waarin die effectiviteit tot stand moet komen.
Dit zijn bijvoorbeeld de bedrijfsprocessen,
waarbij veelal onderscheid wordt gemaakt
tussen primaire processen, ondersteunende processen en managementprocessen. Het gaat hierbij om de throughputfase in het boven aangehaalde model. Wij
stellen hier daarom voor dat rekenkamers
hun onderzoeksfocus verschuiven van het
streven naar zuiver effectiviteitsonderzoek
(reactief) naar onderzoek naar de effectiviteitsvoorwaarden, gericht op procedures
en randvoorwaarden (proactief).
De gedachte daarbij is als volgt: als nauwelijks onderzocht kan worden of het beoogde beleid en de maatschappelijk effecten
daadwerkelijk bereikt zijn, kan in ieder
geval wel worden onderzocht of de juiste
organisatorische maatregelen zijn getroffen die aanvullende zekerheid moeten
geven dat het beleid doeltreffend en doelmatig gerealiseerd gaat worden. Zonder
de juiste organisatorische maatregelen kan
het beoogde beleid immers per definitie
niet worden bereikt. Andersom geredeneerd: als geconstateerd wordt dat wel de
juiste organisatorische maatregelen aanwezig zijn, kan met een redelijke mate van
zekerheid aangegeven worden dat het
beoogde beleid wel bereikt gaat worden
(doeltreffendheid). Doelmatigheid hangt
dan af van de vraag of er niet te veel organisatorische maatregelen zijn getroffen.
Elke organisatorische maatregel die teveel
is genomen kost namelijk geld. Daarnaast
is de doelmatigheid afhankelijk van wat je
wil bereiken met het proces en het resultaat. Niets is namelijk zo inefficiënt als
perfect de verkeerde dingen doen! In de
sociale wetenschappen wordt in dit verband gesproken van procesevaluatie of
invoeringsonderzoek (als alternatief voor
productevaluatie), in operational auditing,
een relatief nieuw specialisme binnen de
bedrijfswetenschappen, wordt hiervoor
wel de term systeemonderzoek gehanteerd.7
Lerende organisatie
Voor de lokale rekenkamerfunctie heeft
deze oplossingsrichting behalve een betere uitvoerbaarheid nog twee belangrijke
extra voordelen. Veel rekenkamercommissies geven aan niet zozeer te willen afrekenen, maar vooral gericht te zijn op leren.
Onderzoek of de juiste organisatorische
maatregelen zijn getroffen, zal gedurende
de uitvoering van het onderzochte beleid
worden uitgevoerd (ex durante met een
dure term). Het geeft daarmee informatie
7
die direct bruikbaar is om eventueel organisatorische maatregelen aan te passen,
zodat alsnog met een redelijke mate van
zekerheid kan worden gesteld dat het
beoogde beleid ook daadwerkelijk wordt
gerealiseerd. Doordat eventuele aanbevelingen gepresenteerd worden vóórdat het
beleid gerealiseerd moet zijn, kan de organisatie daadwerkelijk leren. Dit in tegenstelling tot ‘gewoon’ effectiviteitsonderzoek, dat per definitie pas nadat het beleid
gerealiseerd moest zijn terugkijkt. De
resultaten worden dan vaak als de bekende mosterd na de maaltijd ervaren.
Daarnaast is het uitvoeren van een kwalitatief hoogwaardig en methodologisch
verantwoord onderzoek naar de effectiviteitsvoorwaarden een stuk goedkoper dan
een methodologisch verantwoord onderzoek naar een doelbereikingsvraag (effectiviteitsonderzoek) en daarmee voor lokale
rekenkamers haalbaar.
Concrete normen
Als de rekenkamer tóch achteruit wil kijken, is het verstandig dat het onderzoek
zich alleen richt op de outputfase en niet
op de relatie tussen outputfase en outcomefase. De reden is hierboven uitgebreid
beschreven. Zodra de rekenkamer het
onderzoek richt op de outputfase betekent dit dat het normenkader ook alleen
moet bestaan uit een concrete set normen
die aangeeft wat de beoogde output is, en
dus geen normen die gaan over procedures en randvoorwaarden. Daarbij is aan te
bevelen om bij een onderzoek naar de
output het onderzoeksobject zo veel
mogelijk te beperken tot één of een klein
aantal cases. Bijvoorbeeld onderzoek of bij
de bouw van project X de aanbestedingsregels zijn gevolgd in plaats van te onderzoeken of de gemeente in het algemeen in
de jaren 2008 en 2009 de aanbestedingsregels heeft gevolgd. In dit voorbeeld
bestaat het normenkader dus uit een
concrete weergave van de aanbestedingsregels van de betreffende gemeente X. Bij
een onderzoek naar de outputfase moet
de rekenkamer er rekening mee houden
dat het resultaat van het onderzoek veelal
zal worden opgevat als ‘afrekenen’ in
plaats van ‘leren’.
Keuze maken
Rekenkamers zullen de komende tijd een
keuze moeten maken tussen puur effectiviteitsonderzoek en onderzoek naar de
effectiviteitsvoorwaarden die zekerheid
moeten geven dat het beoogde beleid
wordt gerealiseerd . Een combinatie binnen één onderzoek is geen reële optie.
Het is aanbevelenswaardig dat rekenkamers kiezen voor onderzoek naar effectiviteitsvoorwaarden. Voor het opstellen van
het normenkader bestaan theorieën en
modellen die zich in de praktijk hebben
bewezen. Onderstaand geven wij drie
voorbeelden van theorieën en modellen
die bruikbaar zijn voor een aantal populaire onderzoeksobjecten van reken­
kamers.
Onderzoek naar effectiviteitsvoorwaarden
op basis van bekende theorieën en modellen is al geruime tijd breed geaccepteerd
binnen profit- en non-profitorganisaties en
geeft rekenkamers een concrete handreiking die als alternatief kan dienen voor de
traditionele doelbereikingsvraag. In een
volgend artikel zullen wij nader ingaan op
de onderzoeksmethodologische aanpak
van onderzoek naar effectiviteitsvoorwaarden.
Populaire objecten rekenkameronderzoek
Beproefde theorieën en modellen
Beheersing grote projecten
en programmama’s
Prince2 en de Balanced Change Card
Inkoop en aanbesteding
MSU+ model
WMO-beleid
Simons four levers of control
In de jaren negentig wees Bemelmans-Videc er al op dat het doelmatigheidsonderzoek van de
Algemene Rekenkamer vooral op de voorwaarden voor effectiviteit was gericht, niet op het vaststellen van de effectiviteit van het beleid zelf.
B&G JULI/AUGUSTUS 2010
29