(Standaard) Commissie voorbladen griffi - Provincie Noord

Griffie
Commissie voor Beleidsevaluatie
Datum commissievergadering :
25 september 2003
DIS-stuknummer
:
Nummer commissiestuk
Behandeld ambtenaar
:
:
Dienst/afdeling
:
Datum
:
Bijlagen
:
940181
BE-0005
Paulien Feimann
griffie
10 september 2003
4
Onderwerp:
Concept beoordeling programmaplan
Voorstel van het Presidium/Griffie:
ter bespreking
ter kennisneming
ter vaststelling
Griffier der Staten,
namens deze,
P.F.L. Feimann
Bijlage:
1. Programmabegroting 2004
2. Productenraming 2004
3. Bijlagenboek bij de duale begroting 2004
4. Notitie Programmabegroting en Provinciale Staten van het Presidium (ter kennisneming paragaraaf 6)
Notitie ten behoeve van de commissie voor Beleidsevaluatie
inzake beoordeling programmaplan (eerste concept)
Inleiding
In maart 2002 hebben Provinciale Staten besloten tot de instelling van de Commissie Beleidsevaluatie. In de
overeenkomstige verordening (PS 09/02, artikel 2) worden de taken van de commissie als volgt beschreven:
‘De commissie is met ingang van 2003 belast met de voorbereiding van de programmering van onderzoeken
naar de effectiviteit van provinciaal beleid, het toezicht op deugdelijke uitvoering van deze onderzoeken, de
doorgeleiding van de onderzoeksresultaten naar Provinciale Staten, alsmede de beleidsmatige vertaling van de
onderzoeksresultaten ten behoeve van Provinciale Staten.’ Vooruitlopend op deze taak heeft de commissie de
opdracht gekregen om het proces van horizonplanning te visiteren. Eén van de belangrijkste conclusies uit
deze visitatie is dat men het stellen van concrete en meetbare doelstellingen, het startpunt voor evaluatie, als
moeilijk ervaart. De, door de provincie (afdelingen zowel als Provinciale Staten), geformuleerde
doelstellingen zijn veelal te algemeen om goed te kunnen evalueren. De commissie adviseerde om aandacht te
besteden aan het stellen van concrete en meetbare doelstellingen. Doelstellingen (wat willen we bereiken?),
resultaten (wat gaan we daarvoor doen?) en effecten (wat is het beoogde effect van hetgeen we doen?) dienen
op een logische en samenhangende wijze met elkaar samen te hangen met erbij een passende fasering.
In het jaar 2004 zal voor het eerst sprake zijn van splitsing van het provinciale jaarplan (de begroting) in een
programmabegroting waarvoor Provinciale Staten verantwoordelijk zijn en een daarbij behorende
productraming van Gedeputeerde Staten. De programmabegroting bestaat uit een programmaplan,
paragrafen en een financiële begroting. Het programmaplan geeft een overzicht van de in de beleidsnota’s
vastgestelde kaders (in termen van beleidsdoelstellingen). Daarom heeft de commissie, als vervolg op de
visitatie van Horizonplanning, zich specifiek gebogen over het programmaplan. De commissie
Beleidsevaluatie heeft zich hierbij gericht op de vraag:
Draagt het programmaplan bij aan de controlerende rol van de Provinciale Staten?
De controlerende rol van Provinciale Staten is onder te verdelen in controle op doeltreffendheid,
doelmatigheid en rechtsmatigheid. Bij de beoordeling van het programmaplan heeft de commissie zich gericht
op de eerste twee vragen. Om te kunnen bepalen of beleid doeltreffend is geweest is met name het
formuleren van evalueerbare en dus controleerbare doelstellingen in termen van te bereiken effect van
belang. Voor de controle van de doelmatigheid van beleid is een koppeling met de inzet van beleid en inzet
van financiële middelen van belang. De controlefunctie komt tot uiting in een verantwoordingsdebat tussen
Provinciale Staten en Gedeputeerde Staten. Vragen als ‘Doen we de goede dingen?’ en ‘Doen we die dingen
goed?’ in het licht van het beoogde effect dienen in dit debat centraal te staan. De uitkomsten van dit debat
kunnen leiden tot aanpassing van beleidsdoelstelling of bij behorende financiële middeleninzet.
De controlerende rol staat natuurlijk niet op zichzelf. Controle wordt uitgevoerd op eerder geformuleerde
kaders in de vorm van doelstellingen. Daarom beperkt deze notitie zich niet alleen tot de controlerende rol
maar zal zij ook ingaan op de kaderstellende rol van de staten.
De commissie ziet in het programmaplan een goede eerste stap in het overzichtelijk en samenhangend
presenteren van het vigerende beleid met de bijbehorende beleidsdoelstellingen. Graag wil de commissie een
bijdrage leveren aan het verbeteren van het huidige programmaplan door enkele beschouwingen te geven op
het huidige programmaplan met als doel mogelijkheden en kansen aan te geven om de doelstellingen in de
komende tijd te verbeteren.
Na een korte toelichting op het programmaplan zal in deze notitie worden ingegaan op de mogelijkheden die
het programmaplan biedt aan Provinciale Staten om de uitvoering van Gedeputeerde Staten te controleren.
-2-
Hierbij zal aandacht worden besteed aan:
a. de opzet van het programmaplan
b. de mogelijkheid te controleren op doeltreffendheid
c. de mogelijkheid te controleren op doelmatigheid
d. de mogelijkheid GS om verantwoording te vragen
Toelichting op het programmaplan
In het jaar 2004 zal voor het eerst sprake zijn van splitsing van het provinciale jaarplan (de begroting) in een
programmabegroting waarvoor Provinciale Staten verantwoordelijk zijn en een daarbij behorende
productraming van Gedeputeerde Staten. De programmabegroting bestaat uit een programmaplan,
paragrafen en een financiële begroting. Het programmaplan geeft een overzicht van de in de beleidsnota’s
vastgestelde kaders (in termen van beleidsdoelstellingen). De reden voor deze splitsing is de invoering van het
duale stelsel. Hierdoor zijn de taken en bevoegdheden van Provinciale Staten en van Gedeputeerde Staten,
meer en sterker dan in het monistische stelsel het geval was, gescheiden. Provinciale Staten hebben een
kaderstellende en controlerende rol. Gedeputeerde Staten zijn verantwoordelijk voor de uitvoering van het
beleid. Deze scheiding van taken en bevoegdheden heeft ook gevolgen voor de opzet en inhoud van de
begrotings- en verantwoordingsstukken. De programmabegroting moet Provinciale Staten in staat stellen
invulling te geven aan haar kaderstellende en controlerende taak. Zij dient derhalve informatie te bevatten om
te kunnen sturen op beleid. In de productenraming is uitgewerkt wat Gedeputeerde Staten gaan doen om de
in het programmaplan opgenomen beleidsdoelstellingen te realiseren. Met de informatie die daarover in de
productenraming is opgenomen, sturen Gedeputeerde Staten de uitvoering aan.
Teneinde per programma compacte, duidelijke stuurinformatie te presenteren, zijn per programma de drie
“W”-vragen beantwoord:
1. Wat wil de provincie bereiken?
2. Wat gaat de provincie daarvoor doen (in termen van operationele doelstellingen)? En
3. Wat gaat dit kosten?
Beantwoording van deze vragen is in de tekst van het programmaplan terug te vinden. In ieder programma
wordt eerst de relatie gelegd met de provinciale visie en missie (onderdeel I). Vervolgens wordt aangegeven
wat de provincie wil bereiken in de vorm strategische doelstellingen (onderdeel II). In het derde formatonderdeel wordt ter operationalisering van de strategische doelstellingen aangegeven wat de provincie
concreet wil bereiken. Voorzover beschikbaar wordt dit zoveel mogelijk “SMART” gemaakt met meetbare
indicatoren (onderdeel III). Tenslotte wordt aangegeven welke financiële middelen ingezet worden om dit te
bereiken (onderdeel IV).
Afgeleid van de programmabegroting is de productenraming opgesteld waarin is aangegeven wat
Gedeputeerde Staten gaan doen om de in het programmaplan opgenomen beleidsdoelstellingen te realiseren.
Ook hierbij draait het om de beantwoording van – in dit geval – twee vragen:
1. Wat gaat de provincie doen (in termen van klantproducten)?
2. Wat gaat dit kosten?
Het programmaplan zou een zelfstandig leesbaar document en zelfstandig bruikbaar instrument moeten zijn
dat Provinciale Staten in staat stelt een overzicht te krijgen van de in de beleidsnota’s vastgestelde kaders en te
sturen op hoofdlijnen van beleid. Dit is met name van belang bij de politieke thema’s en speerpunten die
Provinciale Staten van belang achten in relatie tot financiële middeleninzet.
Beschouwingen
a. Opzet van het programmaplan
In de opzet van het programmaplan en de productenraming is aangesloten bij de zogenoemde drie “W”vragen. Het verheugt de commissie te zien dat in beantwoording van deze drie vragen men aansluit bij de
vragen die de commissie in het visitatierapport Horizonplanning heeft opgenomen. ‘Wat willen we
-3-
bereiken?’ staat genoemd in onderdeel I en II, ‘Wat gaan we daarvoor doen?’ in de productenraming en ‘Wat
zijn de beoogde effecten van hetgeen we doen?’ in onderdeel III van het programmaplan. De totale begroting
geeft op deze wijze een samenhangend overzicht van de vigerende beleidsdoelstellingen uit vele verschillende
beleidsnota’s in relatie tot financiële middeleninzet. Dit zal, volgens de commissie, zeker kunnen bijdragen
aan een versterking van kaderstellende en controlerende rol van Provinciale Staten.
De commissie constateert echter dat door de splitsing van de duale begroting in een programmabegroting en
productenraming de 3 “W”-vragen niet eenduidig gesteld worden. Met name de tweede vraag ‘Wat gaat de
provincie daarvoor doen?’ zorgt voor verwarring. Het werkwoord ‘doen’ suggereert concrete resultaten en
prestaties terwijl het programmaplan zich, volgens de commissie, meer zou moeten richten op beleidsdoelen
in termen van omgevingskwaliteit. De vraag ‘Wat gaat de provincie daarvoor doen?’ wordt nogmaals gesteld
in de productenraming waarin naar uitvoeringsgerichte klantproducten wordt gevraagd. Deze ‘verwarring’
heeft wellicht tot gevolg gehad dat het niveau waarop de doelstellingen gesteld worden verschilt. Hierop zal
in de paragraaf ‘verantwoorden’ nader worden ingegaan.
De commissie adviseert een eenduidig gebruik van de drie “W”-vragen zowel in de begroting als in
beleidsnota’s. Hoe duidelijker en transparanter de drie “W”-vragen in de door het jaar heen vast te stellen
beleidsnota’s worden beantwoord, des te beter zal de kwaliteit van de duale begroting zich kunnen
ontwikkelen. Als suggestie wil de commissie aandragen dat de vragen ‘Wat wil de provincie bereiken?’ en
‘Wat gaat dit kosten?’ in het programmaplan worden gesteld en de vraag ‘Wat gaan we daarvoor doen?’ en
‘Wat gaat dit kosten?’ in de productenraming. Deze scheiding kan ook worden aangebracht in de
beleidsnota’s door de vragen ‘Wat wil de provincie bereiken?’ en ‘Wat gaat dit kosten?’ te behandelen in
kaderstellende beleidsnota’s. Terwijl de vragen ‘Wat gaan we daarvoor doen?’ en ‘Wat gaat dit kosten?’ in
uitvoeringsprogramma’s aan de orde kunnen komen. Beantwoording van de vraag ‘Wat wil de provincie
bereiken?’ zal een logisch en samenhangend ‘verhaal’ moeten vertellen over hoe een beoogde
omgevingskwaliteit bijdraagt aan de visie/missie van de provincie. Hiermee wil de commissie aangeven dat zij
de drie niveau’s die nu in het programmaplan zitten om dit ‘verhaal’ te vertellen wel zinvol acht.
b. Controle op doeltreffendheid
Om te kunnen controleren op doeltreffendheid is het noodzakelijk doelstellingen op een zodanig wijze te
formuleren dat evaluatie mogelijk is. Dit betekent dat doelstellingen specifiek, meetbaar, acceptabel,
realistisch en tijdgebonden (SMART) geformuleerd moeten zijn. In de onderstaande tabel worden deze
termen toegelicht. Aan dit criterium voldoen veel doelstellingen (nog) niet. In het programmaplan 2004 zijn
ongeveer eenderde van de geoperationaliseerde doelstellingen op een zodanige wijze geformuleerd dat
evaluatie mogelijk is. De commissie adviseert hieraan expliciet aandacht te schenken. Dit is noodzakelijk op
alle niveau’s, dus zowel binnen de ambtelijke organisatie als door Statenleden zelf bij het vaststellen van de
kaders. Volgens de commissie kunnen de Statenleden hierin een actieve rol spelen bij het vaststellen van
beleidsnota’s door zelf verantwoordelijkheid te nemen en te zoeken in het scherper stellen van doelstellingen,
zoals reeds verwoord in de bestuursfilosofie.
In het format bij de geoperationaliseerde doelstellingen is expliciet gevraagd naar indicatoren via een tabel
waarin realisatie en planning opgenomen kunnen worden. Maar de commissie constateert dat deze tabel bij
veel programma’s nagenoeg leeg is gebleven. Slechts bij eenderde deel van de doelstellingen is (voorzichtig)
een planning ingevuld en bij maar 4% van de doelstellingen is een realisatie ingevuld. De planning bestaat
soms slechts uit kruisjes wanneer aan een doelstelling gewerkt wordt. De commissie acht zowel de kwaliteit
als de kwantiteit van de invulling van deze tabel bedroevend en adviseert hieraan te werken. De
controleerbaarheid en dus de evalueerbaarheid van de doelstellingen wordt hierdoor ernstig belemmerd.
Tabel 1. Toelichting op 'SMART’
-4-
S
Specifiek
M Meetbaar
A Acceptabel
R Realistisch
T
Tijdsbepaald
Beleidsdoel is éénduidig geformuleerd; het is slechts op één manier uit te leggen en te
begrijpen. Duidelijk is wat het probleem is, welke oplossing wij beogen en wie de (sub-)
doelgroep is die bij het probleem en bij de oplossing is betrokken.
Beleidsdoel is zodanig gedefinieerd dat gemeten kan worden of, en in hoeverre, de
doelstelling is bereikt. De maat kan zijn gegeven in relatieve eenheden (percentages,
toenames, afnames, etc) of in absolute eenheden. Gebruikte eenheden zijn gebaseerd op
één of meerdere indicatoren die meting mogelijk maken.
Bij het bereiken van het beleidsdoel zijn er geen onoverkomelijke problemen vanwege
het ontbreken van voldoende draagvlak.
Beleidsdoel is technisch uitvoerbaar. Er is voldoende budget en er is voldoende personele
capaciteit beschikbaar. De kwaliteitseisen zijn niet te hoog, binnen de beschikbare tijd te
realiseren en ook in juridische zin mogelijk.
Beleidsdoel is zodanig gedefinieerd dat duidelijk is in welk jaar wij het doel willen
bereiken. Het moment van doelrealisatie valt in principe binnen een periode van 4 jaar of
er zijn tussendoelen geformuleerd.
c. Controle op doelmatigheid
Om de doelmatigheid van beleid te controleren is het van belang dat de relatie tussen de beleidsdoelstellingen
en de financiële middeleninzet duidelijk is. De commissie constateert dat op dit moment niet duidelijk is
hoeveel middelen worden ingezet ten behoeve van het behalen van één doelstelling. Door de informatie uit
de productenraming bij het programmaplan te betrekken kan (via klantproducten) een relatie tussen
financiële middeleninzet en beleidsdoelstellingen worden gelegd. Echter deze relatie is niet eenvoudig te
leggen en ook niet eenduidig. Zo kunnen klantproducten – waaraan financiële middeleninzet gekoppeld is –
bijdragen aan meerdere beleidsdoelstellingen. De commissie adviseert een sterker verband te leggen tussen
doelstellingen en financiële middelen. Alleen dan is Provinciale Staten daadwerkelijk in staat met de
programmabegroting te sturen.
d. Verantwoorden
Voor een goed verantwoordingsdebat is het, volgens de commissie, noodzakelijk dat de doelstellingen op het
niveau van omgevingskwaliteit zijn gesteld. Dit vraagt om een toelichting.
De commissie constateert dat het niveau, waarop de doelstellingen zijn geformuleerd, sterk verschilt per
programma en zelfs binnen programma’s. De commissie constateert grofweg een drietal niveau’s:
a) Doelstellingen geformuleerd in termen van de beoogde omgevingskwaliteit oftewel beoogd
maatschappelijk effect;
b) Doelstellingen geformuleerd in termen van provinciale rol of het in te zetten proces door de
provincie (in termen van ‘stimuleren’, ‘versterken’, ‘initiëren’, ‘faciliteren’, etc).
c) Doelstellingen geformuleerd in termen van een ingezet instrument.
Circa 60% van de beleidsdoelstellingen (onderdeel II) is gesteld op het niveau van beoogde
omgevingskwaliteit, bij de geoperationaliseerde doelstellingen (onderdeel III) is dit ongeveer de helft. De
niveau’s b) en c) - de andere helft van de doelstellingen – liggen, volgens de commissie, te dicht tegen het
niveau van uitvoering aan.
De commissie herkent in de verschillende niveaus van doelstellingen een verschil in visie in de verschillende
beleidsvelden over hoe om te gaan met de soms beperkte mate van invloed die de provincie heeft op de
samenleving. Provinciale doelen gesteld in termen van de beoogde omgevingskwaliteit zullen soms pas na
jaren bereikt worden met medewerking van verschillende partners. Vaak gaat het om hardnekkige of moeilijk
beïnvloedbare problemen waarbij de provincie voor de oplossing afhankelijk van de medewerking van
anderen. Door deze beperkte mate van beïnvloedbaarheid kiezen enkele beleidsvelden ervoor doelstellingen
niet te formuleren in termen van beoogde omgevingskwaliteit maar in termen van proces (de rol van de
provincie) of instrument. Hier speelt de vrees ‘afgerekend’ te worden op beleidsdoelstellingen waarop
-5-
factoren van buitenaf (bijvoorbeeld andere overheden en organisatie) een grote invloed hebben. De
commissie onderkent dat het voor de provincie van essentieel belang is om te zoeken naar partners om haar
doelstellingen te bereiken. Echter dat mag volgens haar niet leiden tot ambitieloze doelstellingen. De
commissie vindt het jammer dat door het stellen van doelstellingen op een proces- of instrumentniveau een
bepaalde mate van ambitie en visie mist in de geoperationaliseerde doelstellingen. Deze doelstellingen roepen
geen visionair streefbeeld op wat de Brabantse burger zal aanspreken.
De commissie is echter van mening dat in dit kader niet over ‘afrekenen’ maar over ‘verantwoorden’
gesproken zou moeten worden. Door doelstellingen op het niveau van proces of instrument (dicht tegen het
uitvoeringsniveau) te formuleren voorziet de commissie dat bepaalde vorm van functievermenging tussen
Gedeputeerde Staten en Provinciale Staten zal optreden. De controlerende functie van Provinciale Staten
wordt hierdoor bemoeilijkt. Vanuit de controlerende rol van de staten moeten Gedeputeerde Staten gevraagd
worden hun uitvoering te verantwoorden. De kernvraag hierbij is of het door Gedeputeerde Staten ingezette
proces en instrument (de uitvoering) inderdaad en in voldoende mate heeft bijgedragen aan het behalen van
de beoogde omgevingskwaliteit. Door operationele doelstellingen te formuleren op het niveau van uitvoering
(proces en instrument) wordt, naar de mening van de commissie, niet meer in een politiek debat nagegaan of
de inzet van deze beleidsinstrumenten wel bijdraagt aan de beoogde omgevingskwaliteit. De
beleidsevaluatieve vragen als ‘doen we de goede dingen?’ (zet Gedeputeerde Staten de juiste instrumenten in
of het juiste proces in gang om de beoogde omgevingskwaliteit te bereiken) en ‘doen we die dingen goed?’
(hebben we de instrumenten of proces op een juiste wijze ingezet) kunnen dan niet gesteld worden in het
verantwoordingdebat tussen Provinciale Staten en Gedeputeerde Staten. De commissie adviseert daarom in
het programmaplan doelstellingen te formuleren op het niveau van omgevingskwaliteit.
Tot slot
Tot slot vreest de commissie dat het controleren, verantwoorden en het op basis van deze verantwoording
bijsturen van doelstellingen bemoeilijkt wordt door de grote hoeveelheid van doelstellingen. Politieke
thema’s en speerpunten sneeuwen onder in de veelheid van doelstellingen. De commissie adviseert per
politiek relevant beleidsitem een beperkt aantal doelstellingen te formuleren in termen van
omgevingskwaliteit.
Conclusies en aanbevelingen
De commissie Beleidsevaluatie heeft zich bij de beoordeling van het programmaplan gericht op de vraag of het
programmaplan bijdraagt aan de controlerende functie van de Provinciale Staten. Concluderend ziet de
commissie in het programmaplan een goede eerste stap in het inzichtelijk en samenhangend presenteren van
het vigerende beleid met de bijbehorende beleidsdoelstellingen.
Op basis van deze beoordeling wil de commissie enkele aanbevelingen doen inzake de toekomstige
programmabegrotingen:
 De commissie adviseert een eenduidig gebruik van de drie “W”-vragen zowel in de begroting als in
beleidsnota’s. Hiervoor suggereert de commissie alleen de vragen ‘Wat wil de provincie bereiken?’
en ‘Wat gaat dit kosten?’ in het programmaplan te beantwoorden en de vraag ‘Wat gaan we
daarvoor doen?’ en ‘Wat gaat dit kosten?’ in de productenraming.
 Om de doeltreffendheid van het beleid te controleren adviseert de commissie aandacht te geven aan
het specifiek, meetbaar, acceptabel, realistisch en tijdgebonden formuleren van doelstellingen.
Hierbij acht de commissie een betere invulling van de tabel waarin planning en realisatie opgenomen
kunnen worden zinvol.
 De commissie voorziet dat Provinciale Staten met de programmabegroting (nog) niet kunnen
controleren op doelmatigheid. Hiervoor dient de relatie tussen doelstellingen en financiële middelen
versterkt te worden.
 Vanuit het oogpunt van verantwoorden adviseert de commissie in het programmaplan doelstellingen
te formuleren in termen van beoogde omgevingskwaliteit. Hierdoor wordt een duidelijke scheiding
-6-

gecreëerd tussen de kaderstellende functie van Provinciale Staten en uitvoerende functie van
Gedeputeerde Staten en kan Provinciale Staten Gedeputeerde Staten vragen hun uitvoering te
verantwoorden in het licht de beoogde omgevingskwaliteit.
Tot slot adviseert de commissie het aantal doelstellingen te per politiek relevant thema te beperken
en deze doelstellingen met enige ambitie te (durven) formuleren.
-7-