Handleiding "Opvolgen en evalueren van het beleid"

Handleiding
Opvolgen en evalueren
van het beleid
Ministerie van de Vlaamse Gemeenschap
Administratie Planning en Statistiek
oktober 2002
Inhoud
Voorwoord ....................................................... 3
Plaatsbepaling van opvolging en evaluatie in de
beleids- en beheerscyclus ....................................... 4
1. Deelprocessen ........................................................4
2. Opvolgen en evalueren ................................................5
3. Inbedding van opvolging en evaluatie in het strategisch
en operationeel management ...........................................6
Evaluatieonderzoek ............................................. 10
1. Waarom is evaluatieonderzoek nodig? .................................10
2. Soorten evaluatieonderzoek ..........................................11
multidisciplinaire benadering
11
niveau van benadering
11
betrokkenheid van actoren
12
tijdstip van onderzoek in relatie tot beleidscyclus
12
Opvolging op basis van indicatoren (monitoring) ................ 16
1. Waarom indicatoren? .................................................16
2. Soorten indicatoren .................................................17
Opvolging als een proces ....................................... 20
1. Een proces in stappen ...............................................20
Stap O Initiëren van de beleidsopvolging ................................21
Stap 1 Definitie van strategische doelen en na te streven
beleidseffecten ..................................................24
Stap 2 Indicatoren selecteren om de beoogde effecten te meten...........28
Stap 3 Definiëren van indicatoren.......................................31
Stap 4 Verzamelen van gegevens..........................................35
Stap 5 Rapporteren ......................................................37
Stap 6 Evalueren ........................................................40
Samenvatting ................................................... 44
Aandachtspunten bij monitoring en evaluatie.............................44
Tot slot ....................................................... 46
Bibliografie ................................................... 47
2
Voorwoord
De Vlaamse overheid kiest in het kader van “beter bestuurlijk
beleid” voor een resultaatgericht besturingsmodel. Dit model is
gebaseerd op het principe van sturen op hoofdlijnen (zie
strategische doelen) en op basis van afspraken (zie
beheersovereenkomsten) De lijnmanagers worden hierbij
geresponsabiliseerd en moeten verantwoording afleggen over de
resultaten. Een goede inschatting vooraf van de beoogde output en
effecten van het te voeren beleid en een goede meting ervan
achteraf, zijn een essentiële voorwaarde voor de realisatie van
resultaatgericht management.
De opvolging van de uitvoeringsprocessen en de evaluatie van het
beleid staan daarmee volop in de belangstelling.
Het gebruik van indicatoren wordt stilaan ingeburgerd in het
ministerie en de VOI’s. De interpretatie van de indicatoren en het
integreren van de vaststellingen in het beleid en het management
verloopt trager.
De bedoeling van deze handleiding is aan te geven waarom opvolging
en evaluatie van belang zijn en hoe dit instrument past binnen de
beleids- en beheerscyclus. Vervolgens wordt een beschrijving
gegeven van de stappen die moeten worden gevolgd voor een
kwaliteitsvolle monitoring op basis van indicatoren. Aangezien
indicatoren alleen onmogelijk kunnen aangeven in welke mate
veranderingen in de maatschappij zijn toe te schrijven aan het
gevoerde beleid, wordt in de handleiding ook verwezen naar
aanvullende informatiebronnen en de wijze waarop hiermee moet
worden omgegaan.
De verschillende stappen in het opvolgings- en evaluatieproces en
de te respecteren kwaliteitsstandaarden zijn zowel van toepassing
voor de beleidsopvolging op het strategische niveau (langere
termijn en domeinbreed) als op de beheersopvolging op het
operationele niveau (kortere termijn, programma- of
organisatiegebonden).
In deze handleiding zullen we de commentaren vooral toespitsen op
de beleidsopvolging.
De handleiding richt zich in de eerste plaats tot ambtenaren in
leidinggevende posities die de beleids- en beheerscyclus moeten
initiëren en tot de experten die de resultaten van het
evaluatieonderzoek bewerken en interpreteren.
De handleiding is ook nuttig voor ambtenaren in beleidsuitvoerende
functies die verantwoordelijk zijn voor de registratie van de
gegevens. Het is immers van belang dat ze inzicht krijgen in het
nut van monitoring.
Beleid opvolgen en evalueren is een zaak waarvoor “iedereen”
verantwoordelijk is en die op een “evaluatie- en open debatcultuur”
moet steunen!
Josée Lemaître
Directeur-generaal administratie Planning en Statistiek
3
Plaatsbepaling van opvolging en evaluatie in de
beleids- en beheerscyclus
1.
DEELPROCESSEN
De totstandkoming (beleidsvoorbereiding) met de agendavorming
(beleidsbepaling), de uitvoering en de beoordeling (evaluatie) van
het beleid vormen de beleidscyclus. Deze cyclus kan beschreven
worden als een verzameling van deelprocessen die elkaar opvolgen.
Meer nog, de deelprocessen bouwen op elkaar verder en zijn dus
telkens voorwaarde en gevolg. Het is bovendien een iteratief proces
waarbij bepaalde deelprocessen meermaals doorlopen worden totdat
het beoogde streefdoel (dit is gericht op de maatschappij) wordt
bereikt.
De opvolging van het beleid en de evaluatie van de resultaten van
deze opvolging vormen de input voor het politieke debat dat kan
leiden tot continuering van het gevoerde beleid of bijsturing,
waarbij dan bepaalde deelprocessen moeten worden overgedaan
(iteratief proces). De resultaten van de beleidsopvolging kunnen na
enige tijd ook signalen geven voor omvattender problemen waarover
het beleid pro-actief zou moeten nadenken. De continue
beleidsopvolging vormt samen met externe omgevingsanalyses,
toekomstverkenningen, scenario’s… een insteek voor nieuwe
strategische keuzen die een nieuwe beleidscyclus aansturen.
Figuur 1 Beleidscyclus
Beleidsvoorbereiding
Beleidsbeslissingen
Beleidsuitvoering
Beleidsevaluatie
Elk van deze deelprocessen vormt op zich een aggregaat van kleinere
deelprocessen.
4
2.
OPVOLGEN EN EVALUEREN
Voor alle duidelijkheid bedoelen we in deze handleiding met
“opvolgen” van het beleid, het systematisch en continu verzamelen,
analyseren en rapporteren van beleidsmatig relevante data die van
nut zijn voor het periodiek vergelijken van resultaten met
vooropgestelde normen of verwachte resultaten. Opvolgen zegt ons
iets over het feit of al dan niet vooruitgang is gemaakt in de
richting van de beoogde effecten of resultaten.
“Evalueren” gaat nog verder (grondiger) en is gedetailleerder. Men
gaat op zoek naar verklaringen, naar correlaties tussen
verschillende fenomenen die kunnen leiden tot de vastgestelde
resultaten en effecten. Evalueren is het in de diepte beoordelen en
gebruiken van de resultaten van dergelijke opvolging voor de
bevestiging, de bijsturing of de ommekeer van de normen of wijze
van beleidsuitvoering.
De mogelijkheid tot het gebruiken van de resultaten van de
beleidsopvolging of het negeren ervan, toont aan dat opvolgen en
evalueren met elkaar verweven zijn. Idealiter vullen ze elkaar aan.
Eerst een snelle scan met het opvolgen en vervolgens een diepere
evaluatie daar waar indicatoren verontrustende evoluties vertonen.
Er moet dus een initiatief genomen worden om met de verworven
informatie verder te werken.
De actoren en eindverantwoordelijkheden van opvolgen en evalueren
liggen eveneens anders. Het systematisch opvolgen van de
resultaten, het signaleren van mogelijke vertragingen,
versnellingen of het ontbreken van enig effect, is de taak van de
beleidsondersteunende en uitvoerende instanties zoals leidend
ambtenaren, programma- of projectcoördinatoren. Het trekken van
conclusies met betrekking tot de normering, in te zetten
overheidsmiddelen,… is een zaak van het politieke primaat.
Het Vlaams Parlement treedt hierbij op als extern controleorgaan.
Het is dan ook aan te bevelen dat men in de rapportering aan het
Vlaams Parlement, zowel in de begrotingsstukken als in de
beleidsbrieven melding maakt van de ingezette en geplande
opvolgingsinstrumenten en van de resultaten van de afgeronde of
lopende opvolging en daarop gebaseerde evaluaties.
Uitweiding 1 over opvolgen en evalueren
Opvolgen (monitoring)
Continu
Focus op de omgeving, input,
activiteiten, output, vooruitgang
processen, toetsen t.o.v. gewenste
resultaten en effecten. Het
analyseren van de kosteneffectiviteit
en efficiëntie zijn ook vormen van
opvolging.
Evalueren
Periodiek n.a.v. belangrijke
mijlpalen en op het einde van de
periode waarbinnen de doelen
moeten worden bereikt.
Ontwerpen van causale modellen,
zoeken naar correlaties,…
(zie verder evaluatieonderzoek)
(zie ook verder uitweiding 2 over effecten,
outcome en impact)
Vragen beantwoorden over wat, waar,
wanneer, hoeveel,…
Vragen beantwoorden over hoe en
waarom.
5
Knipperlicht voor managers m.b.t.
mogelijke knelpunten wat hen toelaat
tussentijdse bijsturingen te doen.
Intern met en voor de betrokken
managers, coördinatoren.
Opvolging op basis van indicatoren.
3.
Geeft aanbevelingen aan
beleidsmakers t.b.v. hun
strategiebepaling en politieke
agenda.
Intern en extern met en voor alle
betrokken stakeholders.
Gebruikt resultaten van opvolging
o.b.v. indicatoren maar ook andere
bronnen (surveys, groepsinterviews, onderzoeken,…).
INBEDDING VAN OPVOLGING EN EVALUATIE IN HET STRATEGISCH EN
OPERATIONEEL MANAGEMENT
Beleidsopvolging en -evaluatie maken deel uit van de beleids- en
beheerscyclus. De beleidscyclus vertrekt van de strategische doelen
die de regering tijdens haar regeerperiode wil bereiken en
specifieert de effecten die ze hiermee wil teweegbrengen op
maatschappelijk, economisch, ecologisch … vlak. Na verder
operationalisatie binnen ieder beleidsdomein worden de middelen
worden toegewezen. De departementen en agentschappen geven aan hoe
ze met de beschikbare middelen een bijdrage zullen leveren tot het
realiseren van de vooropgestelde effecten (zie
beheersovereenkomsten). De beheerscyclus gaat dan van start en
bestaat uit de voorbereiding, bepaling, uitvoering en evaluatie van
de inzet van beheersmiddelen (personeel, infrastructuur,
organisatiestructuren, financiën, logistiek).
De beleidsopvolging behelst de opvolging van de impact en de
langetermijneffecten van het beleid dat vanuit een of meerdere
domeinen is gevoerd in verhouding tot de inspanningen van de
organisatie(s) m.b.t. het beheer van de ingezette middelen.
Dit impliceert dat:
- alle beleidsdomeinen en beleidsvelden onderwerp moeten uitmaken
van het evaluatieonderzoek.
- alle deelprocessen op de verschillende niveaus (strategisch,
tactisch, operationeel) moeten worden opgevolgd. Het is hierbij
van belang dat de strategische doelstellingen1 verder hun
vertaling vinden in de operationele doelstellingen die meer op
kortere termijn en meer specifiek voor een beleidsveld en/of
organisatie van toepassing zijn. De operationele doelstellingen
kunnen ruimer zijn en ook de basisactiviteiten omvatten die
voortvloeien uit de missie van de organisatie. Ze mogen er niet
van afwijken (zie verder uitweiding 3 over horizontale en
verticale consistentie).
1
Strategische doelstellingen (SD) zijn concrete stappen op weg naar het bereiken van de
ideale visie en bepalen wat de overheid door haar beleid gedurende de regeerperiode wil
bereiken. Het betreft belangrijke maatschappelijke veranderingen die de overheid in de
externe omgeving wenst te bekomen ofwel belangrijke wijzigingen van de rol die de overheid
in deze omgeving wenst te vervullen.
Operationele doelstellingen (OD) hebben betrekking op een beperkter aantal werkingsvelden.
Ze geven de hoofdlijnen aan op welke wijze de organisatie zal worden gestuurd om de beoogde
beleidseffecten te realiseren. OD mogen niet tegenstrijdig zijn met de SD; ze kunnen ze wel
aanvullen en mee de basisactiviteiten in relatie brengen met de SD.
6
- de in te zetten instrumenten binnen de bestaande
organisatiekaders (departementen, agentschappen) moeten worden
ingebed. De wijze waarop, moet in de beheersovereenkomsten worden
afgesproken.
- informatie uit de beheerscyclus kan worden ingebracht bij de
beleidsopvolging.
Informatie over de efficiëntie, zuinigheid, klantvriendelijkheid
en de kwaliteit van het beleid voeren, kan gehaald worden uit
toepassingen van EFQM, Common Assessment Framework, Balanced
Scorecard of doelmatigheidsanalyse.2
Deze managementinstrumenten kunnen achtergrondinformatie geven
over de wijze waarop de impact is gerealiseerd en de
vooropgestelde maatschappelijke effecten worden benaderd of net
niet worden gehaald.
- de beheers- en beleidsopvolging ook moet betrokken worden bij de
budgettaire afwegingen. Vanuit het financiële perspectief en
efficiëntieoverwegingen moet immers gesteld worden dat niet tegen
om het even welke prijs een effect kan worden nagestreefd.
Vandaar het belang om de timing van de beleidsevaluatie af te
stemmen op de budgettaire cyclus (zie stap 6).
- de bevordering van de opvolging en van het gebruik van de
resultaten ervan primair wordt gelegd bij de politieke
verantwoordelijke en ambtelijke leiding van de organisatie. Het
heeft weinig zin allerlei inspanningen te leveren voor het
opvolgen van het beleid en het beheer, als er geen bereidheid is
bij de beleidsverantwoordelijken en managers om er rekening mee
te houden. Er moet dus een draagvlak gecreëerd worden.
Essentieel is in overleg afspreken wat er zal gemeten worden, hoe
en door wie. Er moet m.a.w. een goede communicatie gevoerd worden
over wat men met de meetresultaten zal aanvangen. Opvolging moet
aanvaard worden als een middel om beleidsresultaten te verbeteren
en mag niet gezien worden als een middel om schuldigen te zoeken.
2
European Foundation Quality Management (EFQM) en Balanced Scorecard (BSC) zijn manageriele
modellen die een helikopterzicht geven over de hele organisatie. Het zijn generieke
modellen die ervan uitgaan dat verschillende facetten (en niet alleen financiële) en
criteria moeten worden opgevolgd en gemeten.
Bij EFQM zijn deze criteria: leiderschap, beleid en strategie, beheer van menselijke
middelen, materiële middelen, processen, klantentevredenheid, personeelstevredenheid,
impact op de samenleving en bedrijfsresultaten.
De Balanced Scorecard bestaat uit een boordtabel die vier perspectieven opvolgt met name
het financieel perspectief, het klantenperspectief, het intern procesperspectief en het
lerend vermogen en de groei.
De doelmatigheidsanalyse (DMA) is een methode m.b.t. de financiële accountability. Het
omvat een analyse van middelen, activiteiten, prestaties en effecten en het vergelijken
ervan met vooraf opgezette doelstellingen. De DMA leidt tot het prestatiegericht begroten
en het prestatiegericht monitoren en evalueren, meestal op het niveau van een beleidsveld
en/of organisatie.
7
Figuur 2 Beleids- en beheerscyclus
OMGEVING
beleidsevaluatie
STRATEGISCHE DOELSTELLINGEN
OPERATIONELE DOELSTELLINGEN
managementevaluatie
beheersopvolging
INPUT
middelen
THROUGH PUT
werking
beleidsopvolging
OUTPUT
impact
outcome
prestaties
externe ontwikkelingen
Uitweiding 2 over effecten, impact, output
De effecten op strategisch niveau zijn impact- of outcome-effecten.
Outcome richt zich op wijzigingen in de maatschappelijke condities van mensen of
groepen, op waarden en houdingen. Het is het uiteindelijke langetermijneffect, ook
wel end outcome genoemd.
Impact geeft de beoogde resultaten aan die vooral via de kritische
succesfactoren of subdoelstellingen worden nagestreefd, bijvoorbeeld 'een
beter gezondheidsgedrag van de Vlamingen', 'een grotere deelname van
allochtonen aan beroepsopleidingen', 'de wegeninfrastructuur in goede staat
houden', 'het aantal verkeersdoden doen dalen'…. Deze zijn nodig om de
outcome-effecten van de strategische doelstellingen te realiseren als 'de
gezondheidsstatus van de Vlamingen verbeteren’, 'de integratie van
allochtonen verhogen', ‘de verkeersveiligheid verhogen’.
Impact slaat meestal op het kortere termijn effect, ook wel intermediaire
outcome genoemd.
Impact en output liggen dikwijls dicht bij mekaar. Output focust op de te
leveren prestaties in goederen en diensten, terwijl impact focust op het
gebruik door de doelgroep(en) van deze prestaties en de satisfactie die ze
erbij ondervinden.
8
Uitweiding 3 over horizontale en verticale consistentie
De doelstellingen op het tactische en operationele niveau van programma’s,
projecten en acties moeten in verbinding staan met het strategische niveau. Dit is
trouwens de belangrijkste toets of het vooropgestelde beleid effectief wordt
geïmplementeerd en de uitvoerende diensten wel met de juiste zaken bezig zijn. Zo
moet dus nagegaan worden of er een verticale consistentie is tussen de
verschillende doelen.
Het Oegandese ministerie van Financiën, afdeling Planning en Economische
Ontwikkeling, stelde in 2001 vast dat bij de implementatie van een internationaal
hulpprogramma in Oeganda, de deelname aan onderwijs door alle inkomensgroepen
sterk gestegen was, wat ook één van de beoogde strategische doelstellingen was.
Daarnaast stelde men ook vast dat de kwaliteit van het onderwijs serieus gezakt
was en dat één op vier kinderen niet slaagde in de eindexamens van de lagere
school. Oorzaak hiervan was dat men geen aandacht had besteed aan de onderliggende
operationele doelen en streefnormen. Noch de boeken/leerlingen ratio, de
leerlingen/klasruimte ratio en de onderwijzers/leerlingen werden specifiek
opgevolgd. In realiteit bleek het moeilijk te zijn om studenten te overtuigen een
onderwijzeropleiding te volgen omwille van het feit dat de lonen voor onderwijzers
laag liggen en veelal te laat uitbetaald worden.
De discrepantie tussen de resultaatsindicatoren en de implementatie-indicatoren
was er de oorzaak van dat de beleidsmakers hun vooropgestelde beleidseffecten niet
haalden. Bovendien kan een dergelijke discrepantie zorgen voor ongewilde
neveneffecten zoals de daling van de kwaliteit van het onderwijs.
Effecten en hun streefnormen moeten ook horizontaal consistent zijn. Elkaar
tegensprekende doelstellingen op diverse beleidsdomeinen kunnen in een horizontale
consistentie-evaluatie achterhaald worden en bijgestuurd. Men moet er zich ook van
bewust zijn dat soms goedbedoelde doelstellingen in één beleidsdomein perverse
effecten kunnen teweegbrengen op een ander beleidsdomein. Een te eenzijdige
benadering om de arbeidsproductiviteit te verhogen zonder flankerende maatregelen
kan er voor zorgen dat de welzijns- en gezondheidssector een toevloed van nieuwe
cliënten en patiënten krijgt.
Een ander voordeel van een horizontale consistentietoets is het laag kunnen houden
van de op te volgen beleidseffecten.
Volgens The Economist van 28 april 2001 kon de Britse regering het aantal
beleidsindicatoren op regeringsniveau van 600 terugbrengen tot 160 door eerst de
beoogde beleidseffecten meer SMART te definiëren, vervolgens meer te focussen op
impact- en outcome-effecten en hierop een horizontale consistentietoets toe te
passen.
9
Evaluatieonderzoek
1.
WAAROM IS EVALUATIEONDERZOEK NODIG?
De opdracht voor beleidsevaluatieonderzoek gaat meestal uit van de
overheid zelf.
Het uiteindelijke doel van beleidsevaluatieonderzoek is het
genereren van informatie op basis waarvan beleidsmakers een oordeel
vellen over het gevoerde beleid of strategie. Met
evaluatieonderzoek wil men niet de absolute waarheid kennen maar
wel goed onderbouwde inzichten verwerven die bruikbaar zijn voor
het maken van beleidskeuzen.
Er kunnen verschillende redenen of stimuli zijn om
evaluatieonderzoek te vragen:
- inzicht gewenst in of twijfel over de doelmatige en doeltreffende
uitvoering van het beleid;
- inzicht gewenst in of twijfel over gerealiseerde maatschappelijke
effecten;
- verantwoording moeten of willen afleggen (tav kiezers,
Parlement…);
- leren uit goede voorbeelden over wijze waarop effecten worden
bereikt, welke relaties bestaan tussen input, output, en
verwachte effecten, inzicht verwerven in wijze waarop effecten
best worden gemeten,….
De wenselijkheid en de nuttigheid van beleidsevaluatieonderzoek
vervalt indien het niet vanuit een positieve ingesteldheid wordt
uitgevoerd. Oneigenlijke motieven zijn:
- ‘het-moet-nu-eenmaal’: omwille van een decretale verplichting of
de beheersovereenkomst. Vanuit een ‘geïnstitutionaliseerd’
evalueren bestaat het risico dat teveel aandacht uitgaat naar
documenten en rapporten en het proces een louter bureaucratisch
gegeven wordt dat nu eenmaal moet afgehandeld worden, zonder de
intentie er iets te mee willen doen.
- ‘koelkastmotief’: men is niet echt van plan veel belang te
hechten aan de resultaten. Het is eerder een middel om tijd te
winnen en beslissingen uit te stellen.
- ‘statusmotief’: omdat het nu eenmaal ‘in’ is en status verleent
aan de opdrachtgever. Maar wat ermee aanvangen als de resultaten
niet zo rooskleurig zijn?
- ‘legitimeringsmotief’: om achteraf een beslissing en uitgaven te
kunnen rechtvaardigen op basis van onderzoeksresultaten. Men
moest ingrijpen en een inspanning doen maar men wist vooraf niet
goed waar men zou uitkomen.
Er zijn nog meer oneigenlijke motieven maar we gaan hier niet
verder op in.
10
Volledigheidshalve moet men erop wijzen dat beleidskeuzen en
bijsturingen niet enkel gebeuren op basis van wetenschappelijk
onderbouwde methoden maar in realiteit meer dan eens worden
beïnvloed door de media, memorandi van belangengroeperingen, het
parlementaire debat en rechtstreekse contacten tussen de
beleidsverantwoordelijken en de burgers.
2.
SOORTEN EVALUATIEONDERZOEK
multidisciplinaire invalshoeken
Er bestaat heel wat literatuur met betrekking tot evalueren zowel
vanuit de sociologie, de managementbenadering (vb. performance
measurement3), de bestuurskunde als financiële accountancy (vb.
kosten-batenanalyses, kosteneffectiviteit, risico-analyse, DMA en
audit4)… .
Het begrip evaluatie krijgt vanuit deze verschillende disciplines
een wat verschillende benadering.
Soms zal nog een vertaalslag5 moeten gebeuren. In het sociaalwetenschappelijk onderzoek bijvoorbeeld gaat het om de
beschrijving, de verklaring en voorspelling van bepaalde
verschijnselen. De relaties zijn descriptief in de zin van
“waardoor wordt werkloosheid veroorzaakt?” De oorzaak-gevolg
relaties worden vervolgens in causale theorieën of modellen
uitgewerkt. De beleidstheorie ziet er anders uit. In beleid gaat
het erom maatschappelijke problemen op te lossen met behulp van
schaarse middelen die collectief ter beschikking worden gesteld. De
bedoeling is de vermindering van de maatschappelijk problemen. Het
beleid wordt hierbij gehanteerd als een instrument om een doel te
bereiken. Het gaat om een doel-middel relatie en vragen als “hoe
kan werkloosheid worden bestreden?” Deze relatie kan in finale of
instrumentale theorieën worden uitgewerkt.
niveau van benadering
Het evaluatieonderzoek kan zich richten op een microniveau
(individuen, bedrijven) maar kan tevens wijzigingen beogen in
middelgrote systemen zoals organisaties, netwerken (mesoniveau)
De interventies kunnen zich ook richten op het macroniveau zoals
een programma of interventie waarbij de overheid via een
verzameling van gecoördineerde maatregelen bepaalde diensten wil
3
Performance measurement heeft tot doel de belangrijkste interne processen van een
organisatie te optimaliseren en de verantwoordelijkheid van de manager hierin aan te tonen.
4
Audits zijn meer gericht op het aantonen van het verantwoord aanwenden van de middelen, het
verloop van de processen volgens afgesproken normen of standaarden, het afdoend aanwezig
zijn van interne controlemechanismen.
Kosten-batenanalyse (KBA): voor elke oplossing worden de te verwachten kosten en de baten,
zowel directe als indirecte, berekend en in een overzicht voorgesteld. Probleem is vaak
dat niet alle kosten en baten in monetaire waarden kunnen worden uitgedrukt.
Kosteneffectiviteit: kostenberekening waarbij de vraag centraal staat welke interventie het
meest effectief is gezien een bepaald toelaatbaar kostenniveau, dan wel welke het
goedkoopst is gegeven een bepaald minimumeffect.
Risico-analyse: naast de vaststelling van mogelijke directe of indirecte effecten (zie KBA)
berekent men de waarschijnlijkheid (kans) van het voorkomen van een effect, de reikwijdte
of orde van grootte. Vervolgens onderzoekt men in welke mate diegene die een risico lopen
ook bereid zijn dit te ondergaan (vb via survey)
Een methode om de vertaalslag te maken tussen de sociaal-wetenschappelijke en
beleidstheorie is de ‘logical framework approach’. Deze vertrekt van een analyse van de
problemen met de ontwikkeling van een probleemboom die vervolgens vertaald wordt (van
probleem naar op te lossen doel) in een doelstellingenboom. Er volgt een toetsing van de
logica van de probleemboom (vb. elasticiteitsvraagstuk).
5
11
verlenen aan doelgroepen of bepaalde effecten wil teweegbrengen in
de maatschappij. In deze handleiding over beleidsevaluatie richten
we ons op het macroniveau.
betrokkenheid van de actoren
Bij het evaluatieonderzoek kan de opdrachtgever, in casu de
overheid wetenschappelijke instellingen aan het werk zetten en hen
analytisch en op wetenschappelijke methoden gebaseerde studies
laten verrichten of experten betrekken in strategische workshops en
hen vragen mogelijke oplossingen op te lijsten en voor- en nadelen
te beschrijven van scenario’s of vanuit meerdere invalshoeken
feedback te geven over ontwikkelingen 6.
Daarnaast en in steeds toenemende mate kan de opdrachtgever
/overheid beslissen op een meer interactieve en participatieve
wijze beleidskeuzen te maken en te evalueren. Met deze
interactiviteit kan men zeer ver gaan en niet alleen direct
betrokken partners maar ook het ruime publiek betrekken.
Voorbeelden van deze laatste aanpak zijn consensusconferenties en
burgerjury. In focusgroepen en bij Delphi methodes worden experten
en belanghebbenden uitgenodigd hun mening kenbaar te maken 7
Een strikte classificatie van de methoden is moeilijk omdat ze voor
meerdere doeleinden bruikbaar zijn.
tijdstip van onderzoek in relatie tot beleidscyclus
Bij beleidsevaluatieonderzoek gaat het meestal om onderzoek dat
achteraf, na de interventies, plaatsvindt. In welke mate waren de
maatregelen succesvol in de richting van de gewenste situatie?
Wanneer het om toekomstig beleid gaat, is het doel van
evaluatieonderzoek om succes belovende interventies te ontwerpen.
Het onderzoek kan ook betrekking hebben op lopende
beleidsprogramma’s met het doel ongewenste neveneffecten tijdig te
6
7
Workshops: de leden van de groep reageren meestal op een voorliggend model of concept
rapport.
Scenariomethode: het bouwen van alternatieve modellen van een toekomstige situatie met
behulp van expertise, daar waar de theorie ontbreekt. Toepassingen veelal op macroniveau.
Consensusconferentie: is een rechtbankachtige procedure waarbij geïnteresseerde personen,
zonder bijzondere voorafgaande expertise of belang bij de problematiek, zich inwerken in
de probleemstelling en vervolgens kritische vragen voorbereiden die aan experten worden
voorgelegd. Op de conferentie kunnen de experten ook verder bevraagd worden in
aanwezigheid van een ruimer publiek. Het burgerpanel van geïnteresseerde personen (gekozen
na een oproep) komt tot een conclusie na het tegensprekelijk debat. De resultaten van de
conferentie worden ruim verspreid. Deze methode vergt veel voorbereiding en is daardoor
relatief duur.
Burgerjury: een kleine representatieve groep van burgers wordt gevraagd om een uitspraak
te doen over een thema nadat ze zich over het probleem hebben geïnformeerd en experten
hebben ondervraagd. De eindconclusies worden aan de opdrachtgever bezorgd.
Focusgroep: homogene (zelfde doelgroep, betrokkenheid)groepen van 5 tot 12 personen die als
informatieverschaffers worden gebruikt over het doelsysteem en/of over interventies daarin
en dit via open groepsgesprekken. Deze techniek wordt toegepast om problematieken of
vraagstellingen uit te diepen of scherp te krijgen.
Conceptmapping: idem als focusgroep maar nu via het genereren van items (problemen,
doelstellingen of verwachtingen) waarvan het resultaat via een soort clusteranalyse, een
overzicht geeft van het denken van de betreffende groep mensen.
Delphimethode: het aantal betrokkenen kan groter zijn, de experten komen niet bij elkaar
maar geven via correspondentie hun eigen mening. Ze kunnen deze in een volgende ronde
bijstellen aan de hand van de mening van de anderen. Dit is een geschikte methode om
toekomstige ontwikkelingen in kaart te brengen en eventueel onbekende of minder evidente
aspecten te identificeren.
Spelsimulatie: in enkele sessies spelen de betrokkenen de eigen rol of die van een ander en
komen zo op het spoor van relevante variabelen en relaties.
12
detecteren en de mogelijkheden na te gaan om de genomen maatregelen
op een verantwoorde manier bij te sturen.
We maken hierbij het onderscheid tussen plan-, proces- en
productevaluatie (zie uitweiding 4).
In deze handleiding gaan we verder in op ex post
beleidsevaluatieonderzoek. Er zijn meerdere methoden om het beleid
ex post (productevaluatie)te evalueren:
- projectmatig evaluatieonderzoek dat doorgaans met lagere
frequentie (minder dan jaarlijks) wordt uitgevoerd omwille van de
vereiste diepgang. Het heeft eerder een ad hoc karakter (bvb. op
vraag van beleidsverantwoordelijken, Parlement) en is meer
specifiek gericht op een onderzoeksvraag of specifieke
probleemstelling.
Belangrijke kwaliteitskenmerken bij dit soort product- of ex post
evaluatieonderzoek zijn gevoeligheid (om verschillen te meten
tussen de situatie voor en na), causaliteit, representativiteit,
generaliseerbaarheid (kunnen de inzichten in de vastgestelde
effecten van de interventie overgedragen worden naar andere
situaties) en bruikbaarheid (in casu voor het beleid).
Een effect manifesteert zich in een verband tussen een
interventie en de doelvariabele of indicator (vb. verband tussen
bijscholing en het krijgen van werk). Deze samenhang kan je
berekenen met behulp van regressie, correlatie en
associatiematen. Het meten van de mate waarbij het doel bereikt
wordt, is de eerste stap (bruto-effect) De tweede stap is het
meten van de rechtstreekse invloed van de interventie op de
doelvariabele of indicator en de invloed van andere oorzaken
afzonderen (door middel van vergelijking met controlegroep en
door de omstandigheden constant te houden in het onderzoek).
Het onderzoek kan toetsend zijn ten overstaan van bepaalde
veronderstellingen en/of een verklarend karakter hebben m.b.t.
vastgestelde effecten.
- het continu opvolgen op basis van indicatoren, ook wel monitoring
genoemd, waarmee periodiek inzicht wordt verkregen in de
prestaties, resultaten van activiteiten en in de mate waarin de
doelen die de verantwoordelijken hebben vooropgesteld, worden
gehaald (effectiviteitonderzoek of doelbereik). Omwille van het
regulier karakter ondersteunt deze methode het gemakkelijkst de
beleids- en beheerscyclus.
Voorbeeld is het beleidsopvolgingsysteem van de administratie
Planning en Statistiek dat gebaseerd is op de methode van de
strategische planning.
- zowel kwantitatief als kwalitatief onderzoek kan naargelang de
probleemstelling informatie aanbrengen (zie uitweiding 5).
De keuze tussen deze methoden hoeft niet exclusief te zijn. De
combinatie van meerdere methoden verrijkt uiteraard de informatie.
Wanneer een administratie voldoende lang informatie verzamelt op
basis van indicatoren, dan biedt dit uitermate interessant
materiaal voor projectmatige (ex post) evaluatieonderzoeken die
bijvoorbeeld door de universitaire steunpunten kunnen worden
gemaakt of begeleid.
Projectmatig beleidsevaluatieonderzoek kan op haar beurt helpen bij
het verklaren van vastgestelde ontwikkelingen aan de hand van
indicatoren door de oorzaak-gevolgrelatie beter uit te diepen.
13
In het vervolg van deze handleiding zullen we dieper ingaan op
monitoring op basis van indicatoren.
Uitweiding 4 over plan-, proces- en productevaluatie
Planevaluatie
Wanneer het probleem helder gesteld is en wanneer er voldoende gegevens
beschikbaar zijn over de bestaande en de gewenste situatie, komt het ontwerpen van
de meest belovende interventie of set van maatregelen aan. We doen hiervoor
meestal onderzoek achter het bureau. We vertrekken van rapporten van bestaand
empirisch onderzoek, denken na hoe we de bestaande situatie kunnen verklaren en
hoe we deze vervolgens zouden kunnen verbeteren. We gaan daarom na wat de effecten
van reeds bestaande interventies of maatregelen zijn en proberen deze te
verklaren. Vervolgens gebruiken we deze inzichten om één of meerdere
succesbelovende en kosten-economische interventies voor te stellen met de
verwachte effecten.
De bestudering van empirische en theoretische literatuur aangevuld met eigen
onderzoek kan soms nog onvoldoende zijn omdat de context of de situatie anders kan
zijn dan reeds eerder onderzochte gevallen, omdat praktijkproblemen zo complex
zijn dat ze niet volledig met theorieën te verklaren zijn of omdat meerdere
oplossingen mogelijk zijn omdat er meerdere actoren bij betrokken zijn met
verschillende belangen…. In dat geval kan men bijkomende informatie zoeken bij
andere deskundigen, individueel (via gewone interviews of schriftelijke enquêtes)
of groepsgewijze (via methoden van focusgroepen, concept mapping, Delphimethode,
workshopmethode, scenariomethode, spelsimulatie…)6.
Het maken van keuzen kan soms moeilijk zijn wanneer de rangorde van de
voorgestelde oplossingen inclusief het behouden van de bestaande situatie op de
verschillende criteria uiteenloopt. Om dergelijke oplossingen te kunnen
vergelijken en te prioriteren, moeten de criteria in elkaar kunnen worden
uitgedrukt (vb. drie denkbare tracés van een weg scoren verschillend op de
criteria kostprijs, gemiddelde reistijdwinst, verlies aan natuurgebied en daling
van verkeersslachtoffers). Dit multicriteriaprobleem kan met meerdere technieken
worden opgelost (met standaardisering en gewichtentoekenning, kosten-batenanalyse,
kosteneffectiviteitsanalyse)7.
Procesevaluatie
We kunnen wel de best mogelijke set van beleidsmaatregelen voorstellen, maar we
weten vooraf niet of alles volgens deze blauwdruk zal verlopen. Hierbij komen
volgende vragen naar boven: “Zijn er onverwachte tegenstanden of tegenvallers? Wat
vroeger werkte, kan door veranderende omstandigheden niet meer tot de gewenste
effecten leiden. Welke doeleinden en doelgroepen blijken bereikt te worden, welke
niet en hoe komt dat? Welke zijn de schakels in de causale keten? Hoe verklaren en
interpreteren van het geheel? Expliciet maken van de condities waaronder iets
werkt
of niet. Na hoeveel tijd werkt een interventie?” Daarom is het zinvol om aan
procesbegeleiding te doen om tijdig inzicht te krijgen over wat mis kan gaan en
welke aspecten van de interventie die aan het einde van de planevaluatie werd
gesuggereerd, voor verbetering vatbaar zijn. Via interviews, observatie en
groepsgesprekken (vb. focusgroepen) kan de onderzoeker peilen naar de perceptie
van de betrokkenen over knelpunten en mogelijke oplossingen.
Procesevaluatieonderzoek is veelal kwalitatief onderzoek waarbij de onderzoeker
aandacht heeft voor de verhalen en de interpretaties van de betrokkenen.
Indien iets erg fout dreigt te lopen, kan het signaal aan de beleidsverantwoordelijken worden gegeven om bij te sturen.
Procesevaluatie kan ook worden ingeschakeld na een productevaluatie (ex post)
wanneer blijkt dat de oorspronkelijke bedoelingen niet worden bereikt omdat
storingen zijn opgetreden bij de geplande uitvoering en men niet goed weet hoe het
in elkaar zit en niet meteen een zicht heeft op een alternatieve aanpak.
Procesevaluatie kan tijdens de interventie worden uitgevoerd maar bij voorkeur
worden de voorgestelde maatregelen vooraf binnen kleinere proefprojecten of
6
14
proeftuinen (liefst met niet te afwijkende kenmerken t.o.v. de andere
organisaties) uitgetest omdat dan meer in detail kan worden gegraven naar oorzaken
en omdat dan nog verbeteringen kunnen uitgewerkt worden vooraleer de maatregelen
algemeen worden ingevoerd.
Procesevaluatie onderscheidt zich van monitoring omdat deze laatste meer continu
is en kwantitatieve informatie levert.
Productevaluatie, ex post onderzoek
Bij productevaluatie gaat het om volgende vragen: “Treden de beoogde effecten op
en zo ja, in welke mate? In hoeverre kunnen we de gevonden effecten causaal
toeschrijven aan de maatregelen? Welke handreikingen zijn er voor het beleid:
stopzetten van de interventies of elementen wijzigen in bepaalde onderdelen,
wijzigen van de doelgroepen, geen verandering, generaliseren en toepassen van de
maatregelen elders… . Wat zijn de uiteindelijke kosten in relatie tot de balans
van positieve en negatieve effecten?”
Uitweiding 5 over kwalitatief en kwantitatief onderzoek
Kwantitatieve methoden
Numeriek meten van wat, wanneer,
hoe vaak, hoeveel,(soms ook over
hoe en waarom)…
Voorbeelden Registraties, tellingen,
gestandaardiseerde interviews en
surveys met gesloten vragen
- meet precies de feiten maar
Keuze
kan niet de intenties
weergeven (enkel bevestiging
of ontkenning van
voorgelegde antwoordcategorieën)
- via statistische analyses
kunnen relaties worden
onderzocht tussen de
onderzochte vaststellingen
of t.o.v. achtergrondvariabelen
- laat vergelijkingen toe in
tijd en ruimte
Voor wat
Kwalitatieve methoden
Studie over hoe en waarom
Open groepsdiscussies, surveys met
open vragen, interpretatie van
vaststellingen
- zinvol voor opvolgen en
evalueren van sociaalmaatschappelijke ontwikkelingen,
inzichten in waarden, houdingen,
verwachtingen, motieven,…
- betrokkenheid van de
stakeholders
- achtergrondinformatie voor
commentaren bij kwantitatieve
analyses
- gevoeliger voor biases van
interviewers, procesverloop van
survey (kan ook optreden bij
face to face en telefonisch
onderzoek met gesloten
vragenlijsten)
- opletten voor generalisatie
15
Opvolging op basis van indicatoren (monitoring)
1.
WAAROM INDICATOREN?
Zoals eerder gezegd, is beleidsopvolging op basis van indicatoren
een vorm van ex post evaluatieonderzoek.
Binnen de Vlaamse Gemeenschap (zie Pact van Vilvoorde) maar ook
internationaal wordt gekozen voor deze methode (zie indicatoren Top
van Lissabon) omdat ze het voordeel biedt dat zij:
- de resultaatgerichte werking aanmoedigt;
- de aandacht richt op hoofdzaken;
- een inzicht geeft in de trend (bij continue monitoring);
- feiten toont in plaats van gissingen (helderheid);
- snel aanwijzingen geeft waar correctie nodig is of verbetering
mogelijk (zeker als er streefnormen worden aangegeven).
Opvolging op basis van indicatoren draagt in elk geval bij tot de
transparantie van het beleid en van het management. De indicatoren
met bijbehorende streefnormen maken duidelijk waar het beleid echt
naar toe wil. Dit noemt men de indicatieve functie.
De methode kan sommige politici en managers afschrikken omdat hun
beleid en aanpak er concreet kan worden op afgerekend
(accountability). Omgekeerd kan men er ook zijn successen mee
aantonen. Indicatoren hebben dus ook een verantwoordingsfunctie.
Indicatoren zijn niet alleen een intern instrument, ze nodigen alle
belanghebbenden (stakeholders) uit tot een discussie omdat ze de
resultaten en effecten van het beleid snel zichtbaar maken.
Aangezien indicatoren een redelijk abstracte toekomstvisie in
heldere streefcijfers vertalen, hebben ze een communicatieve
functie.
Juist omdat ze precies aangeven waar het beleid en het management
echt naartoe willen, hebben de indicatoren ten slotte een sturende
functie. Zoveel mogelijk middelen zullen naar die thema’s worden
georiënteerd omdat daar de aandacht wordt op gevestigd. Vandaar het
absolute belang dat indicatoren zeer nauw aansluiten bij
beleidsmatig beoogde effecten en gewenste resultaten.
Negatieve aspecten zijn uiteraard mogelijk.
Zo moet erover gewaakt worden dat er geen ‘strategisch gedrag’
ontwikkeld wordt waarbij politici en managers zich exclusief gaan
oriënteren op de officiële doelstellingen en indicatoren en andere
basistaken hierbij verwaarlozen. Bij dergelijke “tunnelvisie”
bestaat het gevaar dat nieuwe initiatieven weinig kansen krijgen!
De gevraagde rapporteringen mogen evenmin leiden tot een te logge
bureaucratie. Van belang is dat er ‘gewerkt ‘ wordt met de
resultaten!
16
De rapporten mogen a priori niet gebruikt worden in het kader van
persoonlijke evaluaties. Onder die conditie zou de betrouwbaarheid
van de gegevens wel eens in discussie kunnen gesteld worden!
2.
SOORTEN INDICATOREN
Maatstaven geven meestal een rechtstreekse en valide, betrouwbare
meting van een verschijnsel of een grootheid.
Sommige verschijnselen (bvb. armoede) kunnen moeilijk rechtstreeks
gemeten worden. Indicatoren geven een benadering van de realiteit.
Onder indicatoren verstaan we een meeteenheid die(veelal) een
onrechtstreekse benadering geeft van een bepaalde grootheid,
situatie die men nastreeft.
Met kengetallen wordt dan meestal verwezen naar een samenstelling
van indicatoren zoals bijvoorbeeld doelmatigheidskengetallen die de
relatie weergeven tussen kosten en prestaties.
Het onderscheid in terminologie is echter niet van wezenlijk
belang. Wat van belang is, is dat men hierover afspraken maakt en
duidelijkheid creëert.
Het begrippenkader is vaak ook verbonden aan de achterliggende
theoretische modellen.
Naargelang de positie in de beleids- en beheerscyclus(zie figuur 2)
maakt men ook een onderscheid tussen omgevingsindicatoren, inputtroughput (of procesindicatoren), output- en outcome-indicatoren.
Omgevingsindicatoren helpen de beleidsverantwoordelijken te
verklaren waarom ze al dan niet vat hebben op bepaalde
ontwikkelingen. Hierbij kan men nog onderscheid maken tussen de
externe omgeving en de interne omgeving die eerder slaat op de
organisatie en waarop men meer vat heeft.
In de loop der jaren is er een verschuiving van aandacht opgetreden
van inputgegevens (hoeveel middelen zet men in?) naar
outputgegevens(tot welke resultaten en prestaties leiden de
verschillende activiteiten en diensten?)
Deze evolutie is te begrijpen omdat de eerste prestatiemeetsystemen
vooral gericht waren op het onder controle houden van de uitgaven.
Deze benadering kan echter leiden tot lineaire besparingen zonder
dat men echt rekening houdt met de relatieve belangrijkheid van
bepaalde uitgavenposten in functie van het beleid of de
maatschappelijke relevantie.
Men wou nadien een meer omvattende benadering en naast kwantiteit
ook meer aandacht voor kwaliteit van de prestaties en informatie
ter ondersteuning voor het management.
De aandacht voor het efficiënt procesverloop (zie vereenvoudiging
regelgeving en proces reënginering) de kwaliteitsverbetering en de
klantvriendelijkheid (zie Balanced Scorecard, EFQM) en het verhogen
van de efficiëntie, effectiviteit en zuinigheid (zie
doelmatigheidsanalyse), leidden ertoe dat men deze dimensies ook
systematisch in kaart wou brengen en de vorderingen wou meten.
De onderliggende theoretische modellen legden hierbij steeds de
link naar de missie, de visie van de organisatie en de te bereiken
17
doelen voor het beleidsveld en in hogere orde t.a.v. het
beleidsdomein.
18
Ook in de publieke opinie werden beleidsmakers meer en meer
geconfronteerd met vragen tot welke effecten de verschillende
actieprogramma’s leidden, wie wordt er beter van en welke problemen
worden ermee opgelost? Er was m.a.w. interesse voor de
effectiviteit van het gevoerde beleid.
Vandaar dat ook stilaan meer aandacht uitgaat naar outcome of
effecten.
Outcome of effectindicatoren worden vooral gekoppeld aan het
strategisch beslissingsniveau. Ze hebben immers een externe focus
en geven aan wat de regering wil veranderen in de maatschappij, in
het macro-economisch veld… Ze zijn gericht op het eindresultaat,
dus op langere termijn en minder op de wijze waarop dit werd
behaald.
Outputindictoren beschrijven concreet welke producten of diensten
de doelgroep, de regio … bereiken en verwijzen direct naar de
opdrachten van de organisatie of naar afspraken die in het kader
van een overeenkomst werden gemaakt. Ze zijn uitgedrukt in
hoeveelheden, prijs per eenheid, kwaliteit van de output.
Outputindicatoren moeten duidelijk maken wat hun bijdrage is tot de
outcome. Niet in alle gevallen is het mogelijk een causaal verband
te leggen.
Beheersindicatoren worden voor interne informatie ingezet en moeten
het management continu inlichten (systematische registratie en
rapportering) over de wijze waarop de beschikbare middelen worden
ingezet voor de te leveren outputs. Ze moeten het management doen
nadenken over efficiëntie, effectiviteit, zuinigheid, kwaliteit van
de dienstverlening en tot verbetering aanzetten.
Voorbeeld
Strategische doelstelling:
werklozen betere toegang geven tot arbeidsmarkt
Operationele doelstelling:
de overheid organiseert opleiding
Omgevingsindicator:
evolutie werkloosheid naar huidig opleidingsniveau, etnische herkomst
en geslacht,… knelpuntberoepen, de economische conjunctuur,
Inputindicator:
overheidsmiddelen aan VDAB en VIZO voor opleiding
Troughput- of procesindicator:
aantal georganiseerde opleidingsinitiatieven door VDAB en VIZO
Outputindicator:
aantal werklozen dat deelneemt aan opleidingsinitiatieven
georganiseerd door overheid
Outcome- of effectindicator:
hogere werkzaamheid ook bij kansengroepen
Beheersindicator:
Aandeel werkingsmiddelen van VDAB die worden ingezet voor nieuwe
loopbaanbegeleidingscel
19
We gaan in deze handleiding verder in op de wijze hoe de monitoring
op basis van indicatoren kan leiden tot een goede beleidsevaluatie
(ex post) waarbij aandacht uitgaat naar de te behalen effecten of
outcome van het beleid. De monitoring vormt de aanloop tot de
evaluatie en mogelijks het bijsturen van het beleid.
20
Opvolging als een proces
1.
EEN PROCES IN STAPPEN
Het opvolgingproces kunnen we opdelen in volgende fasen:
Figuur 3 Stappenplan, opvolging- en evaluatieproces
Initiëren van proces
SMART -definitie van doelen en na te streven effecten controleren
indicatoren selecteren om beoogde effecten te meten
definiëren van indicatoren
verzamelen van gegevens
rapporteren
evalueren
De hiervoor geschetste cyclus moet bekeken worden als een iteratief
proces. De stappen moeten dus regelmatig worden herhaald al dan
niet vanaf het nulpunt.
Opvolgen en evalueren moeten als een leerproces worden gezien.
Vanaf de eerste keer kan het niet perfect volgens de regels van het
spel en met de hoogste kwaliteitsstandaarden verlopen. Dit mag niet
afschrikken. Hoe meer vertrouwd men wordt met het proces en de
technieken, hoe meer men ook het nut ervan zal inzien voor tal van
andere deelprocessen in de beleids- en beheerscyclus.
21
STAP 0
Initiëren van de beleidsopvolging
Bepalen voor wie men zal opvolgen
Bij de start van het opvolgingsproces moet afgesproken worden voor
wie de informatie bedoeld is. Dit beïnvloedt immers zowel de inhoud
(wat zijn hun belangen?) als de voorstelling (globaal, in detail).
De belanghebbenden of stakeholders voor de opvolging en later de
beleidsevaluatie kunnen gekozen worden uit volgende categorieën:
- personen die beslissen over het beleid of het programma en ook de
nodige middelen kunnen toewijzen of inhouden (financierder);
- de verantwoordelijken voor de strategiebepaling, projectplanning
(initiator); binnen het beleid zijn de initiator en de
financierder vaak dezelfde groep;
- de betrokkenen bij de uitvoering (uitvoerders);
- de individuen, huishoudens, bedrijven… die geviseerd worden en/of
diegenen die de resultaten, effecten zullen waarnemen, ervaren
(doelgroep);
- personen of diensten die algemeen belast zijn met de
controllingfunctie binnen een organisatie (interne audit).
Bij beleidsevaluatie moet in de eerste plaats gepeild worden naar
de informatiebehoefte van de politiekverantwoordelijken voor het
beleid (initiator en financierder). Bij een één op één relatie
tussen beleidsdomein en bevoegdheden, is het vrij duidelijk wie de
gesprekspartner zal zijn. Bij domein- en organisatieoverschrijdende
beleidsthema’s moet overeengekomen worden wie het opvolgings- en
evaluatieproces zal aansturen.
In dit laatste geval zal de toekomstige studiedienst van de Vlaamse
regering het initiatief nemen en/of als expert betrokken worden bij
het proces.
Bepalen wat men zal opvolgen
In deze fase moet een goede inschatting gemaakt worden van de
informatiebehoefte van de belanghebbenden en van hun motieven voor
het evaluatieonderzoek. Deze informatiebehoefte kan gehaald worden
uit gesprekken met de beleidsmakers maar kan ook afgeleid worden
uit hun beleidsdocumenten (zie beleidsnota’s), algemene
omgevingsanalyses, vorig evaluatieonderzoek, literatuurstudie van
internationale beleidsdocumenten en studies over specifieke
beleidsthema’s… ; In sommige gevallen is het opvolgen en evalueren
van het beleid een verplichting. In dat geval moet zeker worden
voldaan aan de criteria die in het decreet of besluit worden
opgesomd (vb. milieubeleidsplannen).
Het is aangewezen deze informatiebehoefte te vertalen in een set
van onderzoeksvragen die voldoende specifiek zijn uitgewerkt zodat
duidelijk wordt wat men wil en moet meten.
22
Vooraleer aan het meten te beginnen, is het aan te bevelen een
monitoringsprogramma voor te leggen aan de
beleidsverantwoordelijken ten aanzien van wie zal worden
gerapporteerd.
Indien het gaat om het opvolgen van de performantie van een
organisatie (beheersopvolging) moet er zorg voor worden gedragen
dat het geheel van de basisactiviteiten wordt in kaart gebracht.
Bepalen hoe men zal opvolgen
Naargelang de onderzoeksvragen moet worden uitgemaakt welke
onderzoeksmethoden best worden ingezet.
Er kan beslist worden om systematisch te meten en hierbij al of
niet een eenvormige methode toe te passen over heel het domein
en/of organisatie ofwel om eerder ad hoc op te volgen aan de hand
van onderzoeken, audits,… (zie evaluatiemethoden).
Men kan een keuze maken voor meerdere methoden. Het is vaak zo dat
informatie die voortgebracht worden volgens één methode dan weer
input geeft voor ander methoden van evaluatieonderzoek.
Om integratie van informatie over meerdere beleidsvelden en
domeinen mogelijk te maken, is het aangewezen over de hele
organisatie afspraken te maken over de methode en de periodiciteit
en waar nodig ook een uniform begrippenkader en/of referentiekader
vast te leggen.
In het kader van het beter bestuurlijk beleid is het van belang
deze methoden van opvolging en evaluatie in samenhang te zien met
het geheel van de besluitvormingsprocessen, responsabilisering,… .
Bepalen wie zal opvolgen en evalueren
Bij de aanvang van het proces moet aangeduid worden wie de
verschillende stappen van gegevensinzameling, beheer en verwerking
zal coördineren, wie kwaliteitscontroles zal uitvoeren op het
procesverloop, wie zal waken over de tijdigheid en zo nodig kan
ingrijpen als er iets fout loopt. Er moet een soort van
‘eigenaarschap’ ontstaan (commissioner). Dit kan een dienst zijn
(bvb. departement) of een functie (bvb. interne controller).
Een centrale dienst heeft het voordeel dichter bij de beleidsmakers
te zitten en daardoor de beleidsrelevantie van gegevens beter te
kunnen inschatten. Meer decentrale diensten of functies bieden het
voordeel meer gespecialiseerde kennis te bezitten over de op te
volgen en te evalueren materie. De keuze hangt af van het niveau en
voor wie de opvolging en de evaluatie bestemd is en door wie het
zal worden gebruikt. In de opstartfase is het aangewezen
methodologische kennis op te bouwen op een meer centraal niveau en
deze via gebruikersgroepen en opleiding stap bij stap over te
dragen naar het laagst mogelijke niveau.
Hoe dan ook moeten vanaf het begin goede taakafspraken worden
vastgelegd wie wat moet doen, tegen wanneer. Ook zij die de
registratie of het onderzoek moeten verrichten, moeten hiervoor
voldoende tijd en middelen krijgen.
23
Het mag geen vrijblijvende zaak zijn, zoniet stopt de opvolging
snel of boet het in aan betrouwbaarheid. Garanties hierover moeten
worden vastgelegd in resultaatgebieden (continue opdracht) of in
jaardoelen (ad hoc).
Men mag er niet zo maar vanuit gaan dat iedereen goed op de hoogte
is van wat en hoe hij het moet aanpakken. Er moet m.a.w. gedacht
worden aan vorming. Voor vorming zijn literatuurstudie en
kennismaking met goede voorbeelden aangewezen (zie kenniscentrum
Strategisch Management op de APS-website en de website Steunpunt
Bestuurlijke Organisatie). Ook coaching door meer ervaren personen
en gebruikersgroepen zijn nuttig.
De toekomstige studiedienst van de minister-president zal voor de
Vlaamse overheid optreden als kenniscentrum en tweedelijnhelpdesk.
Steun vanwege de top
Het is belangrijk dat de beleidsmakers en managers hun
betrokkenheid uiten door medewerking te verlenen aan de informatieinzameling, goedkeuring te verlenen aan de voorgestelde methoden,
middelen ter beschikking te stellen, vragen te stellen… .Ze moeten
zich hoeden voor onrealistische verwachtingen. Opvolgen en
evalueren zijn enkel hulpmiddelen om tot goede beleidskeuzen te
komen.
Het is aan te bevelen om het hele opvolgingsproces te laten
begeleiden door een stuurgroep met de politieke verantwoordelijken,
de managers en de verantwoordelijke binnen de diensten voor de
opvolging (zie hierboven commissioner). Deze stuurgroep coördineert
het geheel, staat toe om het opvolgingsproces bij te sturen (vb. na
procesevaluatie) en zorgt dat de opvolging in goede omstandigheden
kan verlopen (middelen).
Beschrijving van de uitgangsituatie
Bij ex post evaluatieonderzoek gaat het erom de effecten te meten
die een set van beleidsmaatregelen teweegbrengen die uitgewerkt
werden om van de bestaande situatie te evolueren naar de gewenste
situatie (zie doelstellingen). Om het verschil tussen de ‘as is’ en
‘to be’ situatie te kunnen meten, moeten we vooraf de nulsituatie
goed in kaart brengen en een diagnose maken van de bestaande
situatie.
24
STAP 1
Definitie van strategische doelen en
na te streven beleidseffecten
Als we de resultaten van het beleid moeten opvolgen en evalueren,
moeten we vooraf goed weten wat het beleid wil bereiken.
Dit is een evidentie maar zelden worden de doeleinden kant en klaar
voor opvolging aangeboden.
De doelstellingen zijn ofwel te vaag qua doelgroep, timing,
streefwaarde zodat met de opdrachtgevers, in casu de
beleidsverantwoordelijken verduidelijking moet gevraagd worden.
Deze vaagheid kan te maken hebben met een onvoldoende kennis van de
huidige situatie of met het feit dat er veel belangen en motieven
meespelen. Dit kan leiden tot zogezegde ‘symbolische
doelstellingen‘ zoals bevordering van emancipatie, een
rechtvaardiger samenleving. Iedereen is het ermee eens op dat
abstract niveau maar hoe de effecten meten als men via
subdoelstellingen niet aangeeft welke instrumenten men zal
inzetten, voor wie het bedoeld is, tegen wanneer?
Soms ontbreken zelfs doelstellingen of werden ze tot op heden niet
bekendgemaakt. De redenen hiervoor kunnen zijn dat men nog geen
goed inzicht heeft in oorzaak en gevolg en men nog aarzelt welke
maatregelen men zal inzetten, of omdat men bij de bekendmaking
vreest dat er weerstanden worden opgeroepen bij de verschillende
belanghebbenden en dit de uitvoering zal belemmeren.
De doelstellingen en beoogde effecten moeten voldoende specifiek en
meetbaar zijn of gemaakt worden.
Voorbeeld
‘De werkloosheid verminderen’ is een strategisch doel, maar het zal
gemakkelijker zijn de resultaten van het beleid op te volgen en te
toetsen als deze doelstelling onderverdeeld wordt in verschillende
concrete beleidseffecten, waaronder bijvoorbeeld: ‘de werkloosheid
van de 50-plussers binnen vijf jaar verminderen tot het gemiddelde
van de ons omringende landen’ of 'de werkloosheid van allochtonen
binnen de 10 jaar op een gelijk peil brengen als die van de
autochtonen en binnen 5 jaar de helft van deze weg afgelegd hebben'
of 'de langdurige werkloosheid (+2 jaar werkloos) binnen 10 jaar met
een kwart verminderen'.
Het beoogde effect op langere termijn is dat iedereen aan het werk is
en kan blijven en zinvol en aangepast werk kan verrichten. De
internationale vergelijking maakt duidelijk dat Vlaanderen op
economisch vlak zich wil meten aan de omringende landen, zijnde de
belangrijkste handelspartners.
Een hulpmiddel hierbij is het ‘SMART-principe’ toepassen.
25
Specifiek
Een strategische doelstelling, kritische succesfactor of
subdoelstelling dient specifiek gemaakt in herkenbare resultaten
die men beoogt. Een te algemeen geformuleerde strategische
doelstelling geeft problemen bij de implementatie, de opvolging en
de evaluatie. In ons voorbeeld 'de werkloosheid verminderen' maakt
de opdeling in een drietal beleidseffecten de doelstelling
specifieker. Hoe specifieker een resultaat wordt verwoord, hoe
makkelijker het wordt om de nodige input en output in te schatten.
Nochtans is het niet altijd mogelijk, of zelfs aan te raden om een
punctuele specificiteit na te streven. Zo zou onze specifieke
doelstelling ‘de langdurige werkloosheid binnen tien jaar met een
kwart verminderen’ in een situatie van economische laagconjunctuur
iets minder specifiek kunnen geformuleerd worden in schuiven,
bijvoorbeeld ‘het minimale wat we willen, is dat de langdurige
werkloosheidsgraad binnen 10 jaar niet hoger ligt als in dit
referentiejaar’; ‘tevreden zijn we als de langdurige
werkloosheidsgraad binnen 10 jaar 10% lager ligt als in dit
referentiejaar’ en ‘zeer tevreden zijn we als de langdurige
werkloosheidsgraad binnen 10 jaar 25% lager ligt als in dit
referentiejaar’.
Zie ook uitweiding 6 over operationaliseren van ruime begrippen en
uitweiding 7 over differentiëren.
Meetbaar
Een strategische doelstelling beschrijft via de beoogde
beleidseffecten het resultaat dat bereikt moet worden. Het
resultaat moet dermate beschreven worden dat het meetbaar is of kan
vastgesteld worden. In ons voorbeeld geven we duidelijk aan welke
doelgroep we bedoelen en welk resultaat we willen bereiken.
Indien er geen kwantitatieve meetstaaf wordt aangegeven voor de
beoogde beleidseffecten is het beleid achteraf ook:
- moeilijk uitvoerbaar (welke en hoeveel middelen en instrumenten
moeten ingezet worden?);
- moeilijk opvolgbaar (wat en hoe moeten we meten?);
- moeilijk evalueerbaar (wat is onze toetsing, zijn we 'goed'
bezig?).
De ‘kansarmoede op het niveau van het individu bestrijden’ wordt
meetbaarder als men de strategische doelstelling formuleert als
‘het aantal cliënten dat afhankelijk is van een vervangingsinkomen
tegen 2010 met 5% verminderen’.
Bij een eerste strategisch plan is het niet altijd gemakkelijk om
streefnormen te bepalen omdat vaak de nulsituatie niet eens in
kaart is gebracht (zie belang van fase 0). Er bestaan meerdere
hulpmiddelen om realistische streefnormen te formuleren.
Zie ook uitweiding 8 over normstelling.
26
Afgesproken
Een strategische doelstelling kan best als een afspraak beschouwd
worden tussen de verschillende belanghebbende actoren. Het is dan
ook belangrijk dat er voldoende dialoog is tussen deze actoren. Een
afgesproken en aanvaarde doelstelling geeft het voordeel dat ze
gedragen wordt door alle betrokkenen, wat belangrijk is voor de
motivatie om het vooropgestelde en afgesproken resultaat te
bereiken. In ons voorbeeld zouden de beleidseffecten kunnen
afgesproken zijn tussen de beleidsbepalers en de sociale partners.
Realistisch
Meestal heeft het gevoerde beleid in een beleidsdomein al een lange
traditie. Vanuit die historiek, vanuit de omgevingsanalyse en
vanuit het beleidsevaluatieonderzoek moet het mogelijk zijn om tot
realistische, haalbare streefdoelen te komen.
Een te hoog gestelde verwachting zal als onhaalbaar worden
beschouwd en diegenen die het resultaat moeten proberen te bereiken
onmiddellijk ontmoedigen. Een streefdoel mag ook niet te laag
ingesteld worden, want dan betekent het geen uitdaging voor de
uitvoerders.
Onze voorbeelden zijn misschien niet realistisch. Het is echter aan
de beleidsbepalers om het mogelijke resultaat binnen het
tijdsperspectief realistisch in te schatten, rekening houdend met
ervaringen uit het reeds gevoerde beleid in het verleden, de
veranderende omgeving,… . Zo zou onze langetermijndoelstelling om
‘binnen tien jaar de langdurige werkloosheid te verminderen met een
kwart’ kunnen inhouden, dat op een bepaald tijdstip binnen die
periode de marginale kost om dit beleid uit te voeren, te groot
wordt en op een ander tijdstip juist eerder laag is. Het is
belangrijk om hiermee rekening te houden in het realistisch
uitstippelen van een beleidsimplementatie op langere termijn.
Tijdsgebonden
Een strategische doelstelling geeft steeds de tijdshorizon weer
waarbinnen de beoogde resultaten moeten behaald worden. In onze
voorbeelden is dit steeds aangegeven. Het is soms aan te raden om
een tijdspad uit te zetten met telkens de aanduiding waar we willen
staan op elk moment van het tijdspad.
Op het einde van fase 1 kunnen we volgende schema opstellen:
beoogd effect Y1
Strategische doelstelling
beoogd effect Y2
streefnorm A
tussentijds A1
streefnorm B
27
Uitweiding 6 over te ruime begrippen
Strategische doelstellingen bevatten soms algemene begrippen die
verduidelijking behoeven door ze te operationaliseren in meerdere
beleidseffecten. De doelstelling 'de armoede tegen 2010 met de helft
verminderen' bijvoorbeeld, kan op het eerste zicht misschien wel SMART
gedefinieerd zijn, maar wat is 'armoede'? Hoe operationaliseer je een
dergelijk begrip? Welke zijn hier de effecten die het beleid wil
realiseren?
Armoede wordt algemeen beschouwd als een multidimensioneel gegeven. Armoede
manifesteert zich bij individuen, huishoudens of groepen door een
achterstelling of uitsluiting op een rits van beleidsterreinen
tezelfdertijd. Dus zullen er effecten moeten bepaald worden op het vlak van
o.a. inkomen, uitgaven, onderwijs, tewerkstelling, huisvesting,
gezondheid,… .Bijkomend stelt zich dan nog de vraag welke normering per
effect dient bepaald te worden, want wat is het gewicht van elk van die
effecten t.o.v. het geheel dat 'armoede' is. Volgende effecten zouden, bij
wijze van voorbeeld, kunnen bepaald worden:
• het aantal individuen dat in relatieve inkomensarmoede leeft (minder dan
60% van het gemiddeld mediaan equivalent inkomen) is tegen 2010
verminderd met 25%;
• het aantal individuen met schulden (Schuldencentrale van de NBB) is met
een kwart verminderd tegen 2010;
• de instroom van kinderen en jongeren naar het buitengewoon onderwijs is
verminderd met 25% tegen 2010;
• het aantal jongeren dat zonder diploma of getuigschrift het onderwijs
verlaat, is tegen 2010 teruggebracht tot nul;
• het aantal kinderen en jongeren die minstens 2 jaar schoolse achterstand
opgelopen hebben, is minstens gehalveerd tegen 2010.
Uitweiding 7 over differentiëren van effecten en streefnormen
Het kan relevant zijn om beoogde effecten en bijbehorende streefnormen
verder te differentiëren.
Om op ons voorbeeld van armoede door te gaan, kan het relevant zijn om te
zien welke individuen in relatieve inkomensarmoede verkeren. Zijn er meer
vrouwen dan mannen? Is er een oververtegenwoordiging van alleenstaande
moeders? Zijn bejaarden meer vertegenwoordigd?
Of wie stroomt in het buitengewoon onderwijs? Meer jongens dan meisjes?
Meer kinderen van allochtone ouders? Meer kinderen van laaggeschoolde
ouders?
Afhankelijk van wat relevante beleidsinformatie kan zijn voor het gevoerde
of te voeren beleid, kan men de beleidseffecten differentiëren naar o.a.
geslacht, opleidingsniveau, burgerlijke stand, huishoudtype, leeftijd
,… .
Anderzijds moeten we opletten om hierin niet te ver te gaan. Het zou wel
eens kunnen dat hierdoor de efficiëntie van de beleidsuitvoering en
-opvolging drastisch vermindert.
28
Stap 2
Indicatoren selecteren om de beoogde effecten
te meten
Het zoeken van geschikte indicatoren is dikwijls de meest
uitdagende en moeilijkste opgave in het opvolgingsproces. Enerzijds
moeten de indicatoren voldoende relevant zijn voor het gegeven
beleidseffect en anderzijds moeten er dan nog data beschikbaar zijn
op een relatief korte termijn.
Het beste hulpmiddel is (zie stap 1) dat de beleidseffecten SMART
zijn gedefinieerd.
De indicatoren moeten in één oogopslag informatie geven over de
hoofdlijnen. De set aan beleidsindicatoren kan dus best beperkt
worden gehouden en zal vooral een overkoepelend karakter hebben.
De keuze van de indicatoren moet zorgvuldig gebeuren. Het is immers
te verwachten dat de aandacht van de beleidsuitvoerders vooral zal
uitgaan naar acties die de indicatoren doen evolueren omdat de
vooruitgang daarop gemeten wordt en de beleidsverantwoordelijken
hen achteraf vooral op deze punten zullen waarderen.
Aan welke voorwaarden moeten de indicatoren voldoen?
- De indicatoren moeten relevant zijn d.w.z. dat ze moeten
aansluiten bij de informatiebehoefte van de opdrachtgever en
andere stakeholders. In beleidsevaluatie zullen de indicatoren
rechtstreeks verwijzen naar de effecten zoals verwoord in de
strategische doelstellingen en de kritische succesfactoren of
subdoelstellingen. De directe band met het beleid houdt ook in
dat de definitie kan worden aangepast in functie van de nieuwe
oriëntaties of de indicator zelf kan worden vervangen.
- De indicatoren moeten meten wat ze beweren te meten (validiteit).
De indicatoren moeten een eenduidige en ondubbelzinnige
interpretatie mogelijk maken.
Zo kan het ‘aantal ingediende klachten’ een indicator zijn voor
klantentevredenheid. Maar men kan opwerpen dat dit een negatieve
benadering is die daarenboven maar één dimensie van
klantentevredenheid meet en niet het geheel.
- Indicatoren moeten eenvoudig en gemakkelijk meetbaar zijn.
Eenvoudige metingen zijn te verkiezen boven complexe
constructies.
De vraag die we ons stellen bij het definiëren van indicatoren
is: wat moeten we weten en met welke precisie moeten we dat
weten?
De administratieve gegevensbanken waaruit wordt geput of het
surveyonderzoek moeten beantwoorden aan de hoogste
kwaliteitsnormen. Ze moeten binnen redelijke kostenmarges te
bekomen zijn en er moet continuïteit ( desgevallend periodiek)
kunnen gewaarborgd worden.
In die zin kan het soms nuttig zijn om 'proxy-indicatoren' te
selecteren: alhoewel ze minder direct verbonden zijn met het
onderwerp van het beleidseffect, worden ze meestal gekozen juist
29
omdat ze eenvoudig en makkelijk meetbaar zijn en toch nog
voldoende informatie verschaffen.
Men mag zich ook niet te snel laten verleiden om vooral input-,
throughput- en outputindicatoren te formuleren omdat deze
gemakkelijker definieerbaar zijn en hierover meer directe
informatie beschikbaar is. Anderzijds mag er ook niet getalmd
worden omdat men streeft naar wetenschappelijke perfectie.
- De indicatoren moeten inhoudelijk stabiel zijn. Dit wil zeggen
dat de indicatoren vooraf het onderwerp zijn van studie en dat de
definitie duidelijk is omschreven zodat geen interpretaties meer
open blijven. Naar aanleiding van een evaluatie en bijsturing
van het beleid kan de definitie wel worden aangepast omdat er
nieuwe inzichten zijn gegroeid of omdat uit ervaring of onderzoek
blijkt dat de indicator onvoldoende gevoelig is of moeilijk
interpreteerbaar. De stabiliteit wijst op het feit dat niet ad
hoc, naargelang degene die de indicator berekent men andere
noemers neemt, andere bronnen raadpleegt, bepaalde deelcategoriën
uitsluit,…
- Ze moeten tegelijk gevoelig zijn voor de veranderingen die ze
meten en regelmatig bevraagbaar.
De gevoeligheid voor verandering houdt in dat de indicator
gemakkelijk evolueert en vrij snel zichtbaar maakt hoe de
omgeving reageer top een bepaalde maatregel. Hoe hoger het niveau
van abstractie, hoe trager een indicator verandert. Een outcomeindicator is meestal vrij star, een input- of outputindicator
daarentegen evolueert sneller. Dit is belangrijk in functie van
de frequentie van rapportering.
- De indicatoren moeten aanvaard worden door degenen die ze moeten
gebruiken en door wie verantwoordelijk is voor het verzamelen.
Daarom worden ze best in overleg uitgewerkt en wordt er een goede
communicatie gevoerd over het belang ervan. Indien indicatoren
van bovenuit worden opgedrongen, verzwakt vaak de bereidheid om
deze te blijven opvolgen.
- De indicatoren moeten betrekking hebben op zaken waarop de
beleidsverantwoordelijken en managers vat hebben.
Het ‘aantal aangeboden opleidingen per 1000 werklozen’ is geen
goede indicator voor de effecten van het Vlaamse
tewerkstellingsbeleid omdat de VDAB alleen geen vat heeft op het
aantal werklozen. Het geeft enkel een indicatie van de
inspanningen en prestaties (output) van deze instelling.
Zeker voor doelstellingen waarbij men het gedrag van de doelgroep
wil beïnvloeden, is het aangewezen vooraf evaluatieonderzoek uit
te voeren zodat oorzaak -gevolgrelaties duidelijk worden (vb. in
welke mate kunnen fiscale maatregelen een milieubewust gedrag
creëren bij de burger, welke andere voorwaarden spelen mee,
hoelang duurt het impact hiervan?).
- De indicatoren moeten ook de verwachtingen van de klanten of de
doelgroep in het oog houden. Enkele indicatoren moeten dus ook de
tevredenheid van de klanten in kaart brengen en het draagvlak
voor het vooropgestelde beleid meten (zie bvb. informatie vanuit
Balanced Scorecard).
Indicatoren zoals betrouwbaarheid en snelheid waarmee de diensten
worden geleverd, horen hier thuis.
30
- Beleidsindicatoren zullen ook een weerspiegeling geven van de
wijze van beleidsvoering die men vooropstelt (beheersen,
vernieuwen…). De indicatoren zullen in functie hiervan
geformuleerd worden als “behoud van… of aangroei van…”.
Voorbeeld
De werkloosheid kunnen we meten aan de hand van de
“werkloosheidsgraad”. Deze indicator kan verder worden gespecificeerd
naar geslacht, leeftijd en afkomst en is beschikbaar op Vlaams
niveau. Naargelang de gebruikte definitie (zie verder) zijn de
statistieken internationaal vergelijkbaar. Dit is een indicator op
het operationele niveau.
Om het langetermijneffect op te volgen zou de werkzaamheidgraad een
betere indicator zijn omdat deze beter aangeeft hoeveel mensen op
actieve leeftijd effectief aan het werk zijn (betaalde job hebben
).
In tijden van economische recessie zal het omlaag halen van de
werkloosheidsgraad de eerste bekommernis zijn en zal het beleid
hieraan het meeste aandacht besteden en haar maatregelen hierop
focussen.
31
Stap 3
Definiëren van indicatoren
Van zodra de indicatoren zijn geselecteerd, moeten er afspraken
gemaakt worden over de wijze van meten, de meetfrequentie, de vorm
van rapportage en vormgeving, de startdatum… .
Er bestaan meerdere waarnemingstechnieken (techniek of methode om
iets waar te nemen zoals enquête, interview,…) en
registratietechnieken (wijze waarop bepaalde zaken worden
bijgehouden zoals checklist, cirkeldiagram, staafdiagram,
lijndiagram…).
Hierbij gaan we als volgt te werk:
Streefnormen stellen
In stap 1 hebben we reeds gewezen op het belang dat de doelen
duidelijke streefdoelen (targets) vermelden, zodat men weet welke
de concrete verwachtingen zijn vanwege het beleid. Het is op het
niveau van de indicatoren, die het instrument zijn waarmee deze
doelen worden opgevolgd, dat men de streefnormen aangeeft. Zij
moeten uiteraard passen binnen het toetsingskader van de beoogde
beleidseffecten, maar zijn specifieker en preciezer geformuleerd.
De keuze van de streefnorm moet gemotiveerd worden. Het leggen van
de meetlat op een bepaalde hoogte is geen vrijblijvende
aangelegenheid. Het is immers tegenover deze norm dat de minister
verantwoording zal moeten afleggen aan het Vlaams Parlement en de
leidend ambtenaar ten aanzien van zijn minister in het kader van de
beheersovereenkomsten.
Aan welke kenmerken moeten de streefnormen voldoen?
-
De streefnorm moet in directe relatie staan tot wat men wil
opvolgen aan de hand van de indicatoren: middelen, activiteiten,
prestaties, effecten en moeten in dezelfde grootheden worden
uitgedrukt als de meetresultaten van de feiten.
- De streefnorm moet helder zijn en de richting en de intensiteit
aangeven van de verbetering die de overheid nastreeft. Daarom
moet een streefnorm een kwantitatieve waarde hebben of
vaststelbaar zijn.
De streefnorm moet kan een volumegegeven (aantallen) zijn of een
ratio.
Wanneer indicatoren verwijzen naar te leveren producten, diensten
is een kwantificering gemakkelijk. Maar er kunnen ook indicatoren
zijn (vaak bij operationele doelstellingen)die verwijzen naar het
al dan niet goedkeuren van een decreet, het ontwikkelen van een
informaticaprogramma, de resultaten van een onderzoek… . Dit is
moeilijker uit te drukken in cijfers maar ook hiervoor bestaan
hulpmiddelen.
Zie uitweiding 8 over normstelling.
Uitweiding 8 over normstelling
32
Methode
Historisch bronnenmateriaal
Geografische benchmarking
Beste praktijken
Gemiddelde prestaties
Grenswaarden
Groei- of afnamepercentages
Projectplanning
Klantenfeedback, SLA
Opdelen in dimensies,
deelaspecten
Politieke overwegingen
Commentaar
Men vergelijkt de situatie van nu met wat in het
verleden is gebeurd. Men neemt hierbij een
bepaald jaar als referentiecijfer en stelt dat
het beleid deze situatie wil verbeteren of
constant houden.
Men vergelijkt de situatie in de eigen regio met
deze van buurlanden of vergelijkbare regio’s (op
basis van bepaalde kenmerken).
Men vergelijkt de eigen situatie met deze van
landen, groepen, organisaties… die men als
voorbeeld neemt van goed beleid of management.
Men positioneert de situatie van een land, groep,
organisatie t.o.v. van het gemiddelde van de
groep.
Men kan normatief een boven- en ondergrenswaarde
opleggen als referentie voor de huidige
prestaties, effecten,… .
Huidige prestaties of effecten plus of min
bepaald percentage.
De indicator benaderen als een project waarbij de
Mijlpalen de te behalen stappen zijn. Men meet de
Progressie van de ene stap naar de volgende.
De klanten kunnen bepaalde verwachtingen hebben
of de organisatie kan bepaalde kwaliteitsniveaus
nastreven.
Complexe of ruime begrippen kunnen ontleed worden
in dimensies of deelsaspecten. Het al of niet
halen van scores op deze dimensies of het
aanwezig zijn ervan, kan worden gekwantificeerd.
Sommige normen kunnen zeer ambitieus zijn (vb.
geen verkeersdoden meer tegen jaar X) om het
publiek te enthousiasmeren, om een beweging op
gang te brengen en middelen te mobiliseren… .
- De streefnorm moet voldoende uitdaging inhouden en perspectief
bieden. Hij moet een prikkelende functie hebben. De norm mag ook
niet te hoog liggen omdat het voortdurend gewezen worden op het
niet behalen van de norm ontmoedigend kan werken. Het is dus een
evenwicht zoeken tussen wat wenselijk en haalbaar is. Niet alleen
kosten maar ook kwaliteitsoverwegingen zijn hierbij belangrijk.
- In sommige gevallen blijven we te doen hebben met open–end
indicatoren waaraan geen duidelijke streefnorm wordt toegekend,
omdat men de effecten van de interventie op langere termijn
moeilijk kan inschatten en men iedere verbetering reeds als een
winstpunt ziet. Het nadeel is dat de beleidsverantwoordelijke
hierop moeilijk kan worden aangesproken en dat vooraf geen raming
kan worden gemaakt van de in te zetten middelen en kostprijs,
waardoor een kosten-batenanalyse niet uitvoerbaar is. Daarom het
pleidooi om eventueel met tussendoelen te werken en de
streefnormen op kortere termijn te specificeren.
33
- Voor sommige indicatoren kunnen meerdere streefnormen worden
vooropgesteld bijvoorbeeld gefaseerd in de tijd of
gedifferentieerd volgens doelgroep of regio Het is evenwel aan te
bevelen niet teveel streefnormen per indicator te hanteren omdat
dit de opvolging complexer maakt. De vuistregel is maximum 3
streefnormen per indicator.
Zie uitweiding 7 over differentiëren.
Maatstaf van meetinstrument bepalen
Welke meeteenheid (aantallen, percentages, ratio’s…) wordt gebruikt
om de effecten zichtbaar te maken? De keuze is afhankelijk van wat
we precies willen meten: een trend, een absolute waarde,… .Hoe dan
ook moet de maatstaf een meetbaar gegeven opleveren. Preciesheid is
hier geboden. Zo moet er steeds duidelijk aangegeven worden wat de
huidige waarde is, de nulsituatie. Bij trendcijfers moet het
referentiejaar goed gedefinieerd worden.
Ontwikkelen van meetsystemen
Er moeten afspraken gemaakt worden over de wijze van meten, de
meetfrequentie, de vorm van rapportage en vormgeving, de
startdatum….
Sommige indicatoren en streefnormen kunnen omvangrijke
meetinstrumenten vragen. De organisatie zal er dus verstandig
moeten mee omgaan en een keuze moeten maken, rekening houdend met
de snelheid waarmee meetresultaten kunnen worden behaald, de
volledigheid en preciesheid van wat gemeten wordt, de haalbaarheid
m.b.t. de personeelsinzet en middelen….
Er bestaan meerdere waarnemingstechnieken (enquête, interview,
steekproef,…) en registratietechnieken (checklist, cirkeldiagram,
frequentietabel, histogram, staafdiagram, lijndiagram…).
Op het einde van deze fase moet men in staat zijn volgend schema in
te vullen:
Beoogd effect Indicator
Korte benaming
Y1
X1
Y2
Y3
Y4
Yn
X2
X3
X4
Xn
Omschrijving
indicator
zie indicatorfiche)
Definitie
begrippen
Meetmethode
Meetsysteem
Streefnorm
A%
Verantwoordelijke voor
opvolging
Dienst
Persoon
B
34
Voorbeeld
De indicator “werkloosheidsgraad” moet worden gedefinieerd.
Volgens het ministerie van Tewerkstelling is dit niet-werkende
werkzoekenden t.o.v. de totale beroepsbevolking (=werkende
beroepsbevolking+werklozen). Eurostat (ILO-definitie) definieert de
werkloosheidsgraad als personen van 15 jaar en meer zonder betrekking
die werk zoeken, daarvoor concrete stappen hebben gezet gedurende de
laatste 4 weken en bovendien binnen de 2 weken kunnen beginnen
werken. De OESO neemt als teller de ILO-definitie maar als noemer de
loontrekkenden, de zelfstandigen, de niet-vergoede helpers, de
miliciens, en de werklozen, terwijl Eurostat deze groep beperkt tot
de werkenden en ILO-werklozen.
De definitie van het aantal uitkeringsgerechtigde volledig werklozen
is in de loop der jaren aangepast geworden in functie van
beleidsmaatregelen (vb.oudere werknemers moeten niet meer stempelen).
De UVW dekken dus in feite niet alle categorieën werklozen:
bruggepensioneerden en jongeren in wachttijd behoren niet meer tot de
UVW.
Het is van belang dat de beleidsverantwoordelijken hierover
geïnformeerd zijn via metadata (indicatorfiche) en dat ze de
definitie als een voldoende omschrijving vinden voor het fenomeen dat
ze willen opvolgen.
Een indicator moet m.a.w. het fenomeen niet volledig statistisch
omschrijven maar moet wel een goed beeld geven van de omvang van het
fenomeen en moet objectief en regelmatig zijn waar te nemen.
Om de statistieken internationaal vergelijkbaar te maken wordt
momenteel geopteerd voor de ILO-definitie van Eurostat.
35
Stap 4
Verzamelen van gegevens
Meetmethode
Om te beginnen moet nagegaan worden welke bronnen reeds bestaan en
relevante informatie kunnen bieden met het gewenste detail, de
tijdigheid… .
Men kan een onderscheid maken tussen kwantitatieve en kwalitatieve
meetmethoden.
Voor de monitoring op basis van indicatoren worden meestal
kwantitatieve methoden gebruikt zoals:
- registratie op basis van administratieve gegevens die reeds door
de dienst op systematische wijze worden bijgehouden;
- telling: hiervoor moeten op regelmatige basis opdrachten worden
gegeven, ze zijn exhaustief of selectief;
- survey8: via gestandaardiseerde vragenlijsten bij een
representatief staal van de doelgroepen of opdrachthouders peilen
(mondeling of schriftelijk) naar hun verwachtingen, houdingen of
hun tevredenheid over de resultaten.
De keuze tussen deze of nog andere verzamelmethodes is afhankelijk
van de aard van informatie die men wenst, de graad van detail, de
frequentie en de beschikbare middelen.
Bijkomende afwegingen bij de keuze zijn:
- de tijd nodig om de methode te ontwerpen of specifiek aan te
passen aan het doel en aan de organisatie;
- kosten voor organisatie en verwerking;
- snelheid waarmee de resultaten kunnen bekomen worden;
- de vertrouwdheid van de verantwoordelijken voor opvolging en
evaluatie met een methode en het vertrouwen dat de
belanghebbenden (stakeholders) hebben in een methode (bvb.
voorbehoud t.o.v. webenquêtes) of bron (reputatie van de
statistiekproducent).
Voorbeeld
In het geval van het aantal werklozen beschikken we over een officiële
bron met name de Rijksdienst voor Arbeidsvoorziening.
8
Ze verdere uitweiding over surveyonderzoek op website http://www.vlaanderen.be/aps
kenniscentrum Surveyonderzoek en de APS-publicatie ‘Handleiding met kwaliteitsrichtlijnen
inzake surveyonderzoek’ (2001).
36
Databeheer
Eens verzameld moet de vergaarde informatie op een systematische
wijze worden opgeslagen zodat ze niet verloren gaat en eventueel
voor andere doeleinden kan worden gebruikt.
Hiervoor kan beroep worden gedaan op bestaande softwarepakketten
zoals databases, rekenbladen, grafische programma's.
Van belang bij de keuze van de softwarepakketten is:
- gebruiksvriendelijkheid bij invoeren en aanpassen van gegevens en
voor het opvragen;
- onderhoudskosten;
- vertrouwdheid met het systeem in het kader van andere opdrachten
binnen de organisatie;
- aggregeerbaarheid van gegevens op hoger niveau;
- mogelijkheden voor koppeling met andere databestanden.
De administratie Planning en Statistiek biedt een geautomatiseerd
opvolgingssysteem aan. Het gebruik hiervan biedt het voordeel dat
men de informatie op een gestructureerde (gekoppeld aan de
strategische doelen/KSF en bijbehorende effecten) en vergelijkbare
wijze terugvindt voor alle indicatoren over alle beleidsdomeinen.
De statistieken die verbonden worden aan deze indicatoren, zijn dan
ook meteen gedocumenteerd.
Bij het databeheer moet er uiteraard rekening worden gehouden met
alle wettelijke bepalingen inzake de bescherming van de
persoonlijke levenssfeer. Dit betekent dat er verantwoordelijken
moeten zijn voor de beveiliging van de databank en dat de gegevens
moeten geanonimiseerd worden bij de verwerking van de resultaten.
Documenteren van de indicatoren
Opdat degenen die de informatie moeten inzamelen en nadien
gebruiken, zouden weten wat precies gemeten wordt en hoe, moeten de
begrippen en afspraken ondubbelzinnig beschreven worden en
vastgelegd in een document (zie uitweiding 9 indicatorfiche)
Uitweiding 9 indicatorfiche
De beschrijving van een indicator behelst volgende informatie:
• omschrijving van de indicator met verwijzing naar de strategische
doelstelling of KSF;
• de omschrijving van de sleutelwoorden in de indicator;
• de streefnorm: waar staan we nu en waar willen we naartoe?
• de dimensies waarop zal geregistreerd worden (tijd, ruimte, geslacht,…);
• de verzamelinstantie of persoon: wie is verantwoordelijk voor het
inzamelen van de gegevens en kan dus ook aangesproken worden voor
verdere toelichting, tijdigheid…;
• de bron die de gegevens ter beschikking stelt, kan dezelfde zijn als de
verzamelinstantie maar kan ook een intermediaire instantie zijn die
binnen de organisatie belast wordt met de verspreiding van gegevens;
• de verzamelmethode: dit is belangrijk voor de interpretatie van de
informatie;
• de meetfrequentie: met welke intervals is informatie beschikbaar? Dit is
van belang voor de beoordeling van de tijdigheid en de eerstvolgende te
verwachten update;
• de betrouwbaarheid en de validiteit van de gegevens.
37
Stap 5
Rapporteren
Interpreteren van de resultaten van de indicatoren
Het rapporteren houdt in dat men de basisinformatie structureert en
een duiding geeft bij de vaststellingen. Dit gebeurt aan de hand
van de streefnormen die vooraf zijn vastgelegd en als
toetsingskader dienen. De rapporten helpen de bekomen resultaten te
interpreteren tussen de situatie ‘as is’ en ‘to be’. Hoe scherper
de vaststellingen hier worden aangeduid en beschreven, hoe groter
de kans dat bij de evaluatie met deze zaken wordt rekening
gehouden.
Een hulpmiddel bij het rapporteren is volgend schema van een
boordtabel:
Effect Effect Effect Effect Streef- Voortgang
Y1
Y2
Y3
Y4
norm
%-bereik van streefnorm
Indicator
Indicator
Indicator
Indicator
1
2
3
4
X
X
X
X
X
X
X
X
X
x
x
x
x
x
x x x
x x x x x x X
x x
Dergelijke boordtabel kan in één oogopslag aangeven waar het goed
gaat en waar er problemen zijn. Dergelijke rapportage op het
strategische niveau (vooral effect en impact) wordt best aangevuld
met managementrapporteringen (beheersinformatie) omdat deze een
verduidelijking kunnen geven over gedane inspanningen.
Het rapport zal ook bijkomende informatie geven met resultaten van
aanvullende statistische bewerkingen of met informatie over de
ruimere omgeving. Men kan de resultaten vergelijken met prestaties
in andere regio’s of organisaties. Zo kan bijvoorbeeld “de daling
van de werkloosheidsgraad van jongeren” positief geïnterpreteerd
worden maar zal anders worden ingeschat indien de globale (alle
leeftijden) werkloosheidsgraad daalt of stijgt of wanneer de
jeugdwerkloosheid in een andere richting evolueert in de omliggende
landen.
Dergelijke vormen van benchmarking zijn tegenwoordig “in”. De
techniek is eenvoudig doch we moeten er wel voor zorgen dat de
definities, verzamelmethode... vergelijkbaar zijn.
38
Wie rapporteert, wanneer en aan wie?
Er moeten afspraken gemaakt worden over de frequentie van het
rapporteren.
Zeker twee keer per jaar (eventueel rond de periode van de
begrotingsopmaak en de begrotingscontrole) moet de politieke
eindverantwoordelijke van de diensten, die belast zijn met de
opvolging (zie fase 0), de meest recente en zo volledig mogelijke
informatie krijgen over de geselecteerde indicatoren. Een hogere
frequentie kan nodig zijn indien er tussentijdse streefnormen
werden geformuleerd of indien men problemen verwacht.
Het management moet de evolutie uiteraard continu opvolgen en
tijdig signalen geven aan de politieke overheid indien er grote
afwijkingen worden vastgesteld t.o.v. de vooropgestelde streefnorm.
Er moet afgesproken worden wie de rapporten mag inkijken. Hier moet
het evenwicht gezocht worden tussen open communicatie ten overstaan
van de personeelsleden en de klanten en de kans op kritiek op de
tussenresultaten van het gevoerde beleid. Het inzagerecht moet
zeker gegeven worden aan degenen die mee kunnen helpen zoeken naar
oplossingen voor bijsturing of verdere verbetering.
Het is aangeraden ook de leden te rapporteren die de indicatoren
mee hebben helpen definiëren.
Een goed monitoringrapport moet volgende kwaliteitskenmerken
hebben:
- doel en doelgroepen van het rapport zijn duidelijk omschreven
alsook wie bijgedragen heeft tot de redactie;
- logische structuur met te behandelen indicatoren, best
opgehangen aan de doelen en op te volgen effecten;
- onderbouwd met objectieve cijfers die relevant zijn voor het op
te volgen beleid;
- vooruitziend met de te verwachten ontwikkelingen, naast de
huidige stand van zaken;
- uitnodigend om keuze te maken tussen verschillende opties die
werden beschreven met hun voor- en nadelen
- tijdig dwz afgestemd op mijlpalen, deadlines in de
beleidscyclus;
- overzichtelijke presentatie (standaard indien periodieke
rapportering) met duidelijk weergave van de vaststellingen en
aanbevelingen voor het beleid.
Uitweiding 10 over structuur van een monitoringrapport
Titel
met verwijzing naar domein, programma
ten behoeve van welke groep
datum van rapport en periode waarop monitoring betrekking heeft
Inhoudstafel
Managementsamenvatting in 1 tot 3 bladzijden met essentiële vaststellingen
en aanbevelingen
Inleiding
- doel van de monitoring
- gebruikte methodes
- toetsingskader met doelstellingen
Belangrijkste vaststellingen
39
-
algemene achtergrondinformatie nuttig voor de interpretatie van de
indicatoren
indicatoren met definitie, bron, de cijferreeks, een korte analyse en
commentaar t.o.v. de streefnorm
kwalitatieve en kwantitatieve informatie op basis van andere methoden
Aanbevelingen
- lessen uit vaststellingen
- lijst met concrete aanbevelingen
- implementatieplan voor aanbevelingen
Bekendmaking
bedoeld voor wie
- via welke andere kanalen (vb. URL-website) waar men meer uitleg of
duiding kan krijgen
40
STAP 6
Evalueren
De resultaten van de monitoring en andere evaluatieonderzoeken
moeten de aandacht krijgen van de beleidsmakers.
De kans dat de resultaten worden gebruikt zal afhangen van de
aansluiting op de probleemstelling (aansluiten bij
informatiebehoefte), de kwaliteit en betrouwbaarheid van de
monitoring of andere onderzoeksresultaten (vooraf afspraken over de
methode), de aanvaardbaarheid van de opgevolgde indicatoren (vooraf
moet de gevoeligheid van de belanghebbenden worden ingeschat), de
handvatten voor het beleid (kan men als overheid op de variabelen
inspelen, is aangegeven welke de eventuele belemmerende factoren
waren…) en de tijdigheid.
Wie evalueert?
De finale beoordeling van de bereikte effecten moet gebeuren door
de politiekverantwoordelijke die door de klanten en de
opdrachtgevers wordt aangesproken voor het al dan niet behalen van
de vooropgestelde effecten en streefnormen. De verantwoordelijke
voor de beleidsevaluatie (kan de verantwoordelijke zijn voor de
beleidsopvolging maar zit vermoedelijk dichter bij het politieke
niveau) bereidt de evaluatie voor aan de hand van een rapport (zie
stap 5).
Bij de effectgerichte beleidsevaluatie is het aan te bevelen naast
de interne evaluatoren (betrokken administraties, VOI, bevoegde
minister) ook externe evaluatoren te betrekken. Deze moeten in de
eerste plaats worden gezocht onder de stakeholders (zie fase 0).
Indien het beleid een aantal wijzigingen in houdingen, gedragingen
wil bereiken, is het aangewezen via surveyonderzoek bij een
steekproef van de doelgroep de gedragingen, houdingen en waarden te
meten. In dat geval zou de onderzoeker die de resultaten van de
enquête heeft geanalyseerd ook kunnen uitgenodigd worden bij de
besprekingen.
Hoe evalueren?
Het is niet alleen van belang na te gaan of de indicatoren een
groen of rood licht aangeven t.o.v de vooropgestelde effecten of
verwachtingen. Nu moet een discussie volgen welk gevolg zal worden
gegeven aan deze vaststellingen en welke acties zullen worden
ondernomen.
Bij de evaluatie wordt best volgend schema gevolgd:
- De resultaten van de indicatoren tonen aan dat de realiteit
ontwikkelt in de gewenste richting en dat de progressie verloopt
volgens de gewenste timing.
41
Er dient dan nog nagegaan te worden of de behaalde resultaten
enkel het gevolg zijn van de genomen maatregelen dan wel of er
gunstige randvoorwaarden waren en andere beleidsprogramma's
(mee)zorgden voor het behaalde resultaat.
Zullen deze in de toekomst even gunstig blijven? Zo neen, moet
het eigen beleid dan niet worden bijgesteld?
Ook bij positieve effecten, wordt best nagegaan of de
onderliggende processen voldoende efficiënt verliepen en of via
een verbetering hiervan niet nog meer profijt kan gehaald worden
uit het gevoerde beleid.
Zorgde het beleidsprogramma voor gewilde neveneffecten of had
het beleidsprogramma ook ongewilde neveneffecten? Een algemeen
gekend neveneffect van maatregelen die de efficiëntie van de
hulpverlening aan doelgroepen beogen, is het zogenaamde
“afromingeffect”. D.w.z. het afromen van de doelgroep door
activiteiten in de eerste plaats laten ten goede te komen aan de
gemakkelijkst bereikbare subgroep die het meeste succes belooft.
- In geval de indicatoren niet het gewenste resultaat opleveren,
moet gezocht worden naar de oorzaken.
Welke zijn de oorzaken van de afwijking? Van belang is dat
meerdere personen en diensten mee zoeken naar verklaringen. Er
kunnen immers meerdere factoren een invloed hebben op de behaalde
resultaten. Zijn ze toevallig of structureel? Zijn ze het gevolg
van het overheidsbeleid of van externe factoren?
Na alle mogelijke oorzaken opgespoord te hebben, moet de
politieke overheid beslissen op welke oorzaken bij prioriteit zal
worden ingewerkt. Op welke factoren heeft de overheid zelf
voldoende vat en welke geven de beste verbeteringsperspectieven?
In sommige gevallen kan gevraagd worden een bijkomend
evaluatieonderzoek (zie ook reeds voorziene instrumenten als
interne audit, riskmanagement, PIP/PEP, DMA, EFQM, BSC…) te doen
om de gehele organisatie in beeld te krijgen en zaken op het
spoor te komen die eventueel niet via de indicatoren gevat
worden. Dit kan nadien aanleiding geven tot aanpassen van de set
van indicatoren, streefnorm… .
In beide scenario’s moet de politiekverantwoordelijke tot
eindconclusies komen:
1. het gevoerde beleid met het bestaande instrumentarium
onverminderd verder zetten;
2. het bestaande instrumentarium voor het beleid bijsturen voor het
geheel of voor bepaalde onderdelen;
3. de streefnormen behouden of aanpassen (meer uitdagend of meer
haalbaar, de timing verkorten of uitstellen…);
4. ter ondersteuning van het beleid de eerder geselecteerde
indicatoren aanvullen, aanpassen en/of andere evaluatiemethoden
aanvullend aanvragen.
42
Deze conclusies worden best in zo duidelijk mogelijke termen
geformuleerd, zodat ze de basis kunnen vormen voor de feedback aan
de ambtelijke top en de uitvoerende diensten en een insteek voor
het politieke debat. De evaluatie is binnen de beleids- en
beheerscyclus immers het eindpunt en tegelijkertijd het startpunt
voor een nieuwe iteratie.
Tijdstip van evaluatie
Tijdigheid is een heikel punt voor het evaluatieproces. De
informatie en de conclusies moeten er zijn op het ogenblik dat er
beslissingen moeten genomen worden en de mogelijkheid bestaat om de
middelen zo nodig te herschikken.
Dit gebeurt jaarlijks onder meer naar aanleiding van de
begrotingsopmaak en de indiening van de beleidsbrieven bij het
Vlaams Parlement. De inhoud van de beleidsbrief moet volgens het
reglement van het Vlaams Parlement trouwens bestaan uit de
beschrijving van de behaalde resultaten (opvolgingsrapportering) en
de mate beschrijven waarin de beoogde beleidsvisie wordt uitgevoerd
en welke middelen zullen worden ingezet om de resultaten nog te
verbeteren (effectgerichte evaluatie).
Evaluatie bekend maken
Evaluatie is meer dan een methode om informatie in te zamelen. Het
is ook een middel om te communiceren.
Eerst moeten de stakeholders en/of de beleidsmakers (Parlement,
ministers) op de hoogte worden gebracht van het evaluatierapport.
Dit zijn de personen of diensten die interesse hebben voor de
evaluatie omdat het relevant is voor hun activiteiten (bvb.
begrotingsdienst) of omdat de maatregelen een impact hebben op hun
gedragingen, houding… .
Het contact met de stakeholders kan op een interactieve wijze
gebeuren via workshops, op adviesraden waarin ze officieel zijn
vertegenwoordigd. Dit biedt het voordeel dat de resultaten beter
kunnen worden toegelicht en geduid door de verantwoordelijken voor
de opvolging en dat de aanbevelingen kunnen worden bediscussieerd
in al hun consequenties. De stakeholders kunnen bijkomende
interpretaties geven of achtergrondinformatie aanvullen. Dit kan
soms aanleiding geven tot vervollediging van het evaluatierapport.
Deze interactie met de stakeholders (participatief model) is aan te
bevelen omdat anders opvolgen en evalueren in een bureaucratisch
verhaal dreigt terecht te komen zonder enig uitzicht op nuttigheid
van het vele werk dat erachter schuilt. De stakeholders zijn
belangrijk om mee te beslissen hoe het verder moet en kunnen
daardoor een nieuwe insteek geven aan de beleid- en beheerscyclus.
Het evaluatierapport kan na goedkeuring door het politieke niveau
ook op andere fora ter beschikking worden gesteld. Het ruimere
publiek kan worden geïnformeerd via jaarboeken, persmededelingen,
flashberichten op website, studiedagen… .
De evaluatierapporten kunnen ook als ‘goede voorbeelden’ worden
bestudeerd door andere beleidsniveaus of instanties.
Bij deze communicatie is het van belang aan te geven dat opvolgen
en evalueren een leerproces inhoudt zowel naar het proces toe als
43
naar de effectiviteit en efficiëntie van het beleid en het
management.
Het is m.a.w. aan te bevelen in het evaluatierapport eerder een
uitnodigende toon aan te slaan dan een negatief afbrekende houding
aan te nemen en met de vinger te wijzen naar schuldigen. Uit het
evaluatierapport moet blijken dat de beleidsmakers bereid zijn
rekening te houden met de vaststellingen en aanbevelingen en dus
bereid zijn te ‘leren’ uit het verleden (zie uitweiding 10).
Opvolgen van evaluatie
De laatste maar daarom niet minder belangrijke stap is het opvolgen
van de verschillende aanbevelingen.
Een aantal conclusies kunnen immers aanleiding geven tot een nieuw
proces, tot ontwikkelen van nieuwe instrumenten, tot bijsturing van
bestaande procedures of het bijstellen van de normen… . Het is
daarom aan te bevelen dat het evaluatierapport afgesloten wordt met
een implementatieplan dat aangeeft wie verantwoordelijk is voor
wat, tegen welke timing en met welke middelen.
De verantwoordelijke voor het evalueren doet er goed aan periodiek
de kerngroep van de stakeholders bijeen te roepen om na te gaan
welke follow up reeds gegeven is aan de aanbevelingen, of het
tijdschema gerespecteerd wordt, of de beloofde middelen beschikbaar
zijn,… . Eventueel kan dit gesprek onderbouwd worden met recentere
resultaten voor de indicatoren.
44
Samenvatting
AANDACHTSPUNTEN BIJ MONITORING EN EVALUATIE
STAP 0
INITIATIE VAN HET PROCES
- Bepalen wie de politieke gesprekspartners zijn voor de opvolging
en evaluatie.
- Vooraf goed bepalen wat men zal meten en dit laten valideren door
de beleidsverantwoordelijken.
- De te volgen methode en periodiciteit van meten vastleggen.
Hierbij rekening houden met organisatiebrede standaarden teneinde
de vergelijkbaarheid van bepaalde informatie te verzekeren (input
voor andere sectoren, opvolging van transversale thema’s).
- Verantwoordelijken aanwijzen voor opvolgingsproces en stuurgroep
samenstellen met de sleutelfiguren (beleidsverantwoordelijken,
manager, projectcoördinator…).
- Aandacht voor vorming en opdrachten vastleggen in
resultaatgebieden of jaardoelen.
- Informatie verzamelen over de nulsituatie en diagnose van de
situatie ‘as is’.
STAP 1
-
DEFINIËREN VAN DOELSTELLINGEN EN EFFECTEN
Doelstellingen zonodig expliciet maken in overleg met de
beleidsverantwoordelijken.
De doelstellingen zodanig specifiek, meetbaar en tijdsgebonden
formuleren dat duidelijk wordt welke beleidseffecten moeten
worden bereikt en aldus opgevolgd dienen te worden.
De beleidsverantwoordelijken moeten aangeven ‘hoe ver’ ze willen
gaan (realistisch, politiek aanvaard).
STAP 2
SELECTIE VAN INDICATOREN
- Kies een beperkte set van indicatoren.
- De indicatoren moeten kernachtig weergeven wat het beleid wil
bereiken.
- Vergewis u ervan dat ze precies meten wat men bedoelt en dat er
m.a.w. geen interferentie is van andere maatregelen.
- Aangezien het beleid erop afgerekend wordt, moeten de
geselecteerde indicatoren aanvaard zijn en moeten ze er vat op
hebben.
STAP 3
DEFINIËREN VAN INDICATOREN
- De definitie van de streefnorm moet gemotiveerd worden op basis
van historische gegevens, vergelijking met andere regio’s of
politieke overwegingen. Hij moet realistisch maar toch uitdagend
zijn.
- De streefnorm moet een kwantitatieve waarde hebben.
45
- Er moeten afspraken worden vastgelegd over de wijze waarop
gemeten wordt en door wie.
STAP 4
VERZAMELEN VAN GEGEVENS
- Overweeg zorgvuldig hoe u de gegevens zal verzamelen. Denk
hierbij aan de beoogde preciesheid, de beschikbare tijd en
middelen. Ga eerst na welke bronnen reeds beschikbaar zijn en
voldoen aan beoogde kwaliteitsvereisten.
- De verzamelde gegevens moeten zorgvuldig worden opgeslagen. Er
moeten de nodige maatregelen worden genomen inzake de bescherming
van de gegevens.
- Het beheer houdt eveneens in dat het databestand goed wordt
omschreven.
- Bij de keuze van de softwarepakketten moet men uitkijken naar de
gebruiksvriendelijkheid, de mogelijkheid tot koppeling met andere
databestanden, de kostprijs.
STAP 5
RAPPORTEREN
- De bekomen informatie wordt op een gestructureerde en
overzichtelijke wijze gepresenteerd. Hierbij wordt duiding
gegeven bij de mate waarin de nulsituatie geëvolueerd is in de
richting van de gewenste situatie. Er moet dus een duidelijke
koppeling blijven met de doelstellingen en bijbehorende
streefnormen.
- De vaststellingen moeten becommentarieerd worden. Hierbij zijn
aanvullende informatie uit beheersinformatiesystemen of
procesanalyses, evaluatieonderzoek, omgevingsanalyses of
benchmarks nuttig.
- Er moet vooraf goed afgesproken worden met welke frequentie wordt
gerapporteerd. De rapporten moeten beschikbaar zijn op momenten
dat de beleidsverantwoordelijken beslissingen moeten nemen zoals
op het ogenblik van de middelentoewijzing of herschikking.
- De rapporten moeten ter beschikking worden gesteld van de
beleidsverantwoordelijken en de managers. Wie deze rapporten nog
mag inzien moet met hen verder worden overlegd. Afwegingscriteria
zijn dat de betrokkenen een bijdrage moet kunnen leveren aan de
interpretatie van de resultaten en de informatie nodig heeft voor
de noodzakelijke bijsturingen.
STAP 6
EVALUEREN
- De eindverantwoordelijkheid voor de beleidsevaluatie ligt bij de
politiek verantwoordelijken. Dit betekent niet dat de beoordeling
van de resultaten een zaak is van één man/vrouw. Bij de evaluatie
worden best de stakeholders betrokken omdat tegenover hen
verantwoording moet worden afgelegd en zij kunnen mee zoeken naar
verklaringen of oplossingen kunnen aanbrengen.
- Evaluatie is een kwestie van beoordelen en tot conclusie komen
voor het vervolg van de beleid- en beheerscyclus.
- Het evaluatierapport wordt best ruim gecommuniceerd en hierbij in
functie van de doelgroep het gepaste medium te gebruiken.
- Politiek bedrijven is niet alleen beloven maar ook opvolgen dat
de aangekondigde oplossingen effectief worden uitgevoerd.
46
Tot slot
Beleid opvolgen en evalueren is het systematisch en periodiek
verzamelen van informatie over het beleid en het management en, na
toetsing ten overstaan van de vooropgestelde effecten en
verwachtingen, hieruit conclusies trekken.
De belangrijkste redenen voor het aanvatten van opvolgen en
evalueren zijn
- Het informeren van de beleidsmakers over de impact of de effecten
van hun beleid. Het helpt hen te oordelen over de waarde van hun
programma en is de aanloop van nieuwe beleidsbeslissingen.
- Het transparant maken van het beleid en verantwoording afleggen
t.o.v. de belanghebbenden, het Parlement.
- Het optimaliseren van de inzet van middelen door te zoeken naar
meer efficiëntie en effectiviteit.
Er moet een goede planning worden gemaakt over de doelgroep en de
gebruikers, de aanpak (keuze van methoden), de timing, de inzet van
monitors en evaluatoren, de procesopvolging en verantwoordelijken
hiervoor, de rapportering… .
Er moet van bij het begin een duidelijk engagement van de top zijn
om er een ernstige zaak van te maken.
Monitoring op basis van indicatoren biedt als methode het voordeel
van de schematisering en synthese maar houdt daardoor ook
beperkingen in. Om de resultaten van de monitoring op basis van
indicatoren te kunnen duiden en minder meetbare aspecten ook te
kunnen betrekken bij de evaluatie is aanvullend (kwalitatief)
onderzoek wenselijk. Bij de planning moet het opstarten van deze
bijkomende onderzoeken of het uitbesteden ervan aan externe
studiediensten of consultancy tijdig worden voorzien (qua timing en
middelen). Dit geldt ook voor de afstemming met andere instrumenten
van prestatiemanagement en de budgetcyclus.
De essentie van het hele verhaal is dat er een evaluatiecultuur
moet komen binnen de organisatie en bij het politieke niveau. Er
moet een openheid en bereidheid zijn tot feedback over de
effectiviteit van het beleid of het programma, er moet bereidheid
zijn tot dialoog en tot leren uit de tekortkomingen en uit de
successen.
Uit de procesbeschrijving is ook gebleken dat er heel wat
‘deskundigheid’ (in breedte en diepte) nodig is om het geheel goed
te kunnen uitvoeren: methodieken beleidsopvolging en evaluatie,
gegevensinzameling, rapporteren, projectplanning, communicatie… .
Daarom moet tijdig aangegeven worden wie bij dit proces betrokken
wordt en moet nagegaan worden of deze mensen vooraf opleiding nodig
hebben.
47
Bibliografie
- Aristigueta Maria Pilar, ‘Management for results in state
governement’, Quorum books, London, 1999.
- Bouckaert G. en T. Auwers, Prestatiemeting in de overheid,
Instituut voor de overheid, K.U.Leuven, Die Keure, Brugge, 1999,
205 pp.
- Bouckaert, G., Hoet, D. en W. Ulens, Prestatiemeetsystemen in de
overheid: een internationale vergelijking, Instituut voor de
overheid, K.U.Leuven, Die Keure, Brugge, 2000, 313 pp.
- Bressers, J.TH.A. en A. Hoogwerg, Beleidsevaluatie,
Koninginnegracht, Alphen aan den Rijn, 1991, 2de druk, 272 pp.
- Dorr, D.C. Presteren met processen. Procesmanagement voor
dienstverlenende organisaties, Deventer, 2000, 167 pp.
- Heene, Aimé praktijkboek Strategie. Bruggen bouwen naar de
toekomst, Lannoo, 2002, 335 pp.
- Janssen, G.S.H. en J.C. Hellendoom (redactie), Heeft beleid
effect? Enkele benaderingen voor de evaluatie van bestaand
beleid, Ministerie van Financiën, Den Haag, maart 1999.
- Ministerie van Financiën Nederland (zoeken op trefwoorden;
aanrader Van Beleidsbegroting Tot Beleidsverantwoording VBTB):
http://www.minfin.nl.
- Ministerie van Financiën, Doelformuleringen en Prestatiegegevens.
Handreiking, Ministerie van Financiën, Den Haag, februari 2001,
16 pp.
- Organisation for Economic Cooperation and Development, ‘Improving
evaluation practices’, PUMA/PAC(99)1, 1999.
- Over monitoring en evaluatie binnen het UNFPA (United Nations
Population Fund): http://www.unfpa.org/ooe/index.htm.
- Over monitoring en evaluatie van actieplannen om armoede aan te
pakken in ontwikkelingslanden binnen de Wereldbank:
http://www.worldbank.org/poverty/strategies/chapters/monitoring/m
oneval.htm.
- Over strategische en operationele planning en gebruik van
performantie-indicatoren bij de Wereldbank:
www.worldbank.org/evaluation/logfram/.
- Sluimers D., ‘Handreiking Doelformulering en Prestatiegegevens’,
Ministerie van Financiën, Nederland, 2001.
- Strootman Co, ‘Communiceren over prestaties’, Bohn Stafleu Van
Loghum, 1999.
- Swanborn P.G., ‘Evalueren’, Uitgeverij Boom, Amsterdam, 1999.
48
- Van der Heide, A. en E. Spaans, Van missie naar management:
strategisch instrumentarium voor de overheidsmanager, 'sGravenhage, 1993, 133 pp.
- Vlaamse overheid, Lokaal Sociaal Beleid, ‘Strategische planning
voor het lokaal sociaal beleid’ (2002). Ministerie van de Vlaamse
Gemeenschap, afdeling Inspectie en Toezicht Welzijn.
- Vlaams Instituut voor Wetenschappelijk en Technologisch
Aspectenonderzoek, Vlaams parlement, jaarverslag 2001-2002
49