Evaluatie vragenlijst

 PROGRAMMATISCH HANDHAVEN EVALUEREN
De effectmeting zoals beschreven in de Gids geeft informatie over de vraag in hoeverre
programmatisch handhaven bijdraagt aan het vergroten van de naleving en het realiseren van
de beleidsdoelen.
De evaluatie van het project is een onderzoek naar de inhoudelijke resultaten en de
werkwijze van het project zelf. Natuurlijk kunt u de uitkomsten van beide onderzoeken
betrekken bij uw totaaloordeel over programmatisch handhaven. Hieronder wordt de evaluatie
van het project beschreven.
Bij de evaluatie kunt u aandacht besteden aan twee aspecten van het project: de
inhoudelijke resultaten en de werkwijze. Inhoudelijke resultaten van het project zijn
bijvoorbeeld de kosten-batenverhouding van de aanpak, nieuwe inzichten in de
handhavingstaken bij u en de andere stakeholders en de tevredenheid met de
interventiestrategie. Bij de werkwijze kunt u denken aan de manier waarop de aanpak is
georganiseerd, de tevredenheid over de gebruikte instrumenten, etc.
AANPAK KIEZEN
Bij de uitvoering van de evaluatie kunt u kiezen voor een ‘formele’ aanpak: een degelijk
wetenschappelijk of statistisch onderzoek door een deskundig bureau. Een alternatief is een
door uzelf uitgevoerde evaluatie, al dan niet met interviews met betrokkenen. Aan het eind
van deze beschrijving is een voorbeeld opgenomen van een vragenlijst die u daarbij kunt
gebruiken. Aan deze vragenlijst kunt u vragen toevoegen die aansluiten bij uw eigen situatie,
of die gerelateerd zijn aan uw eigen observaties gedurende het project.
PROGRAMMATISCH HANDHAVEN
Welke aanpak u ook kiest, het is belangrijk om uw evaluatie niet te beperken tot uw eigen
organisatie. De ervaring leert dat de baten van de aanpak vaak juist liggen in de verbeterde
samenwerking tussen verschillende organisaties. Laat deze waardevolle effecten meewegen bij
het vormen van uw oordeel over de aanpak!
RESULTATEN VAN EVALUATIE EN EFFECTMETING BEOORDELEN
Op basis van de resultaten van de evaluatie van het startproject en de effectmeting kunt u
beslissen of u verder wilt gaan met programmatisch handhaven, en zo ja, welke aanpassingen u
wilt aanbrengen om de aanpak efficiënter en effectiever te maken. Wellicht beslist u dat u
programmatisch handhaven als integrale werkwijze wilt invoeren.
nterventies
1.1
EFFECTEN METEN INZICHT EFFECTEN
Het cyclisch karakter van programmatisch handhaven veronderstelt dat hiermee een continue
verbetercyclus op gang komt. De resultaten van de effectmeting vormen belangrijke
informatie voor een nieuwe cyclus. Ook de resultaten van de evaluatie kunt u meenemen in de
nieuwe cyclus. Daarnaast is een nieuwe cyclus altijd een goed moment om alle andere
ontwikkelingen, ervaringen en indrukken mee te nemen. Om dit gestructureerd te kunnen
doen, vindt gedurende de hele cyclus monitoring plaats.
MONITORING
Monitoren is een voortdurende bezigheid. Uitgangspunt daarbij is de vraag: in hoeverre wijzigt
er iets in mijn omgeving op basis waarvan ik mijn handelen moet bijstellen?
• Komen er nieuwe actoren in beeld?
• Doen er zich nieuwe risico’s voor?
• Waarderen we risico’s nog hetzelfde?
• Zijn er nieuwe interventiemethoden?
• Alle andere relevante ontwikkelingen in de context.
Monitoring is een kwestie van alertheid: alle betrokkenen moeten alert zijn op wijzigingen in
elke stap van de cyclus. Om iedereen alert te houden kunt u bijvoorbeeld regelmatig overleg
houden (twee tot vier keer per jaar) met vertegenwoordigers van de betrokken organisaties of
een digitaal kladblok beschikbaar stellen, waarop alle betrokkenen hun informatie of
indrukken kunnen achterlaten.
PROGRAMMATISCH HANDHAVEN INVOEREN ALS INTEGRALE WERKWIJZE
Idealiter wordt een project ingezet als pilot voor de organisatie om te experimenteren met
programmatisch handhaven. Maar een interventiestrategie die met succes wordt ingezet,
betekent nog niet automatisch dat de gehele organisatie ervan leert, of dat de hele organisatie
de werkwijze heeft ingevoerd. Daarvoor moet een volgende stap worden gezet. U kunt de
invoering van programmatisch handhaven verbreden door bijvoorbeeld onderwerp voor
onderwerp een project uit te voeren.
Groot voordeel van deze keuze is dat de ervaringen van de verschillende projecten worden
benut. Een voorwaarde voor het invoeren van programmatisch handhaven als integrale
werkwijze is dat de organisatie de wil heeft om daadwerkelijk met nieuwe onderwerpen aan
de slag te gaan. Menmoet openstaan voor andere methoden om de naleving te bevorderen.
Men moet het lef hebben om zekerheden los te laten en de mogelijkheid om veranderingen aan
te brengen in verantwoordelijkheden en budgetten. Uitbreiden van programmatisch handhaven
kan bovendien alleen als het ook past binnen de prioriteiten van partners, zoals
departementen en inspecties.
VRAGENLIJST EVALUATIE PROCES PROGRAMMATISCH HANDHAVEN
Deze vragenlijst kan gebruikt worden voor interviews met interne en externe betrokkenen voor
de evaluatie van het proces van programmatisch handhaven.
Gebruik die vragen die voor de betreffende respondent relevant zijn. Specificeer de lijst door
projectspecifieke aspecten toe te voegen. Denk daarbij aan de specifieke opzet, inhoudelijke
of procesmatige keuzes die zijn gemaakt, maar bijvoorbeeld ook aan vragen die uw eigen
observaties toetsen. Op basis van de antwoorden wordt een evaluatierapport opgesteld.
De uitkomsten kunnen worden gebruikt bij het opstellen van het plan van aanpak voor een
‘nieuw startproject’ binnen de organisatie.
RESULTAAT
•
•
•
•
•
•
•
•
•
Wat vindt u van het resultaat zoals het er nu ligt?
Is er sprake van een goed onderbouwde prioriteitstelling?
Wordt met deze prioriteitstelling goed aangesloten op de beleidsdoelen van [….]?
Is bij de interventiestrategie voldoende gekeken naar hetgeen politiek haalbaar is?
Is bij de interventiestrategie voldoende gekeken naar hetgeen praktisch haalbaar is?
Verwacht u dat deze interventiestrategie effectief zal zijn?
Verwacht u dat deze interventiestrategie bij ketenpartners kan rekenen op draagvlak?
Verwacht u dat deze interventiestrategie bij beleidsdirecties kan rekenen op
draagvlak?
Zijn de verwachtingen die u bij de start had over de resultaten van het project
uitgekomen?
PROCES
Algemeen
• Welke voordelen verwachtte u bij de start van het project Programmatisch Handhaven
?
• Zag u ook nadelen? (zo ja, welke)
• Als doelstelling voor de invoering van Programmatisch Handhaven is geformuleerd:
komen tot…
Omschrijf hier uw projectdoelen en beantwoord dan de volgende vragen.
• Denkt u dat Programmatisch Handhaven inderdaad hieraan bijdraagt?
• Zijn de verwachtingen die u bij de start van het project had over mogelijke voor- en
nadelen uitgekomen?
• Zijn de verwachtingen die u bij de start had over het proces uitgekomen?
• Wat vindt u goed aan de methode en wat minder?
• Was het onderwerp geschikt voor deze aanpak?
RISICOANALYSE
In [aantal] sessies hebben we de risicomatrix ingevuld.
Wat vond u van:
• de opzet van de analyse (wat vooraf gedaan, samenstelling, betrokkenen etc.);
• de voorbereiding van de sessie (en het voorwerk ervan);
• de begeleiding van de sessie (uitleg van de methode, begeleiding van de discussie);
• de bijdrage van de verschillende deelnemers;
• het algemene verloop;
• hetgeen het heeft opgeleverd;
•
•
hetgeen het heeft gekost?
Hebt u tips voor verbetering voor toekomstige trajecten? Zo ja, welke.
DOELGROEPENANALYSE
In [aantal] sessies is ingegaan op de verschillende doelgroepen. Hierbij dezelfde vragen als bij
de risicoanalyse: wat vond u van:
• de opzet van de sessie;
• de voorbereiding van de sessie;
• de begeleiding van de sessie (uitleg van de methode, begeleiding van de discussie);
• de bijdrage van de verschillende deelnemers;
• het aantal deelnemers, miste u bepaalde personen;
• het algemene verloop;
• hetgeen het heeft opgeleverd;
• hetgeen het heeft gekost?
• Hebt u tips voor verbetering voor toekomstige trajecten? Zo ja, welke.
INTERVENTIESTRATEGIE
In [aantal] sessies is ingegaan op mogelijke interventies. Ook hierbij de vragen: wat vond u
van:
• de opzet van de sessie;
• de voorbereiding van de sessie;
• de begeleiding van de sessie (uitleg van de methode, begeleiding van de discussie);
• de bijdrage van de verschillende deelnemers;
• het aantal deelnemers, miste u bepaalde personen;
• het algemene verloop;
• hetgeen het heeft opgeleverd;
• hetgeen het heeft gekost?
• Hebt u tips voor verbetering voor toekomstige trajecten? Zo ja, welke.
BENODIGDE TIJD/BEMENSING
•
•
•
•
Had u meer of minder bij het traject betrokken willen zijn?
Hoeveel tijd heeft het traject u naar uw inschatting gekost?
Had dit efficiënter gekund? (zo ja, tips?)
Wat vindt u van de verhouding tussen de tijd die Programmatisch Handhaven u heeft
gekost en hetgeen het aan resultaat heeft opgeleverd?