resultaten - Public Consultancy

Sturen op outcome én resultaat in
het sociale domein
Frits van Vugt
Public Consultancy
10 juni 2015
Congres Jeugdzorg…the next step - PM Seminars
Thema’s
• hoe kunnen gemeenten sturen op SMART
outcome en resultaten?
• het monitoren van outcome/ resultaat in de
praktijk
• wat over resultaat te regelen in
zorgcontracten en in afspraken met
sociale teams?
Mijn ervaring
• 20 jaar met gemeentelijk beleid/
sturen in het sociaal domein
• 25 jaar ervaring met evaluaties in
sociaal domein
• 10 jaar met gemeentelijke
beleidscontrol
• 10 jaar lokaal rekenkameronderzoek
Algemene indrukken
Over maakbaarheid samenleving is men
hypocriet: ‘s morgens een grote mond,
‘s avonds een klein hartje
• Bij sociale beleidsontwerpen worden veel doelen
geformuleerd, maar aangetoond dat deze gerealiseerd
worden gebeurt maar zelden.
• Vooronderstellingen over de werking van het beleid
(beleidstheorie) worden breed uitgemeten, zelden
getoetst, en indien wel: blijken ze vaak niet te kloppen.
• Verweer is dan: samenleving is geen laboratorium, pas
op lange termijn effecten zichtbaar,causaliteitsproblemen
Algemene indrukken (2)
Sturen op doelen / resultaat vertoont weinig
duurzaamheid: men start moeizaam, en
houdt niet vol
• Veel politici vinden sturen op geld makkelijker dan sturen
op doelen/resultaat (gevoel er geen grip op te hebben)
• Veel ambtenaren hebben weinig met een scientific
approach, het zijn doeners die graag nota’s vol
maatregelen schrijven, weinig affiniteit met evalueren
• Beleid maken is gericht op de start; monitoren is niet
sexy; daar wordt ook amper geld voor uitgetrokken
• Men is beducht ‘afgerekend ‘te worden op onvermoede
(verkeerde) uitkomsten (drie-eenheidscongsi)
Algemene indrukken (3)
Bekende riedels om er niet aan te beginnen
• Effecten kunnen niet bewezen worden; causaliteit (maar:
er zijn methoden om verstorende invloeden te mitigeren)
• Pas op de lange duur zichtbaar (maar: vorderingen zijn
al snel te zien; en wat is er tegen langer monitoren?)
• Wetenschappelijke research nodig (maar: wat is er tegen
gebruik van reeds wetensch. bewezen methodieken?)
• Onderzoek is duur (helemaal niet; bovendien: doorgaan
met niet effectieve interventies, da’s pas geldverspilling!)
• Meten van resultaat bij instellingen leidt tot perverse
effecten (zegt de uitvoerende instelling; zoals de waard
is…; bovendien ook dit mogelijk effect te mitigeren)
Hoe kan het wel?
Belang onderkennen van doel- en
resultaatsturing:
• Overtuigen dat wegduiken niet meer helpt (‘outcome’ is
in the air; wie te laat meedoet is gezien…..)
• Uiteindelijk is het beter voor de continuïteit (jezelf/organ.)
• Anderen gaan het ook doen en iedereen gaat
vergelijken. Waarom doen wij dit niet? Iets te verbergen?
• RMO: ‘Leren innoveren in het sociaal domein’ (dec. ‘14):
“focus op bereiken van maatsch. doelen leidt tot kwaliteitsverbetering, tot goedkopere en efficiëntere
hulpverlening”; “bekostigen op basis van output leidt tot
demotivatie en werkt contraproductief”
Hoe kan het wel? (2)
•
•
•
•
•
•
Gezamenlijke aanpak, maar ieder zijn rol
Maak moeilijke dingen makkelijk
Gebruik de info die er al is
Leer van elkaar; jat waar nodig
Beloon (met mate…)
Maar ben ook niet bang door te pakken als
er geen beweging in zit (zowel in org.’s als in cijfers)
• Altijd geldt: het belang van de cliënt /kind /
kwetsbare gaat boven het institutiebelang
Zeven-fasenmodel Public Consultancy
1. Probleem- en vraaganalyse maken
2. Visie formuleren met SMART doelen
3. Beleidsinstrumentenkeuze (doelmiddelrelatie) met SMART resultaten
4. Keuze setting uitvoeringsorganisatie
5. “Inkoop” bij uitvoeringsorganisatie(s)
6. Uitvoering
7. Evaluatie met ‘afrekening’ en bijstelling
11. Evaluatie
10. Beoordeling
Gemeente
Gemeente
& instelling
1.
Probleemanalyse /
Vraagarticulatie
Gemeente e.a.
9. Verantwoording
2. Visie  meetbare
beleidsdoelen
Instelling
Gemeente
8. Tussentijdse
evaluatie / bijstelling
P&C-cyclus
Gemeente &
instelling
3. Opdracht (resultaten) /
“programma van eisen”
Gemeente
7. Uitvoering
Instelling / keten
6. Overeenkomst
of beschikking
Gemeente
4. Offerte(s)
Instelling(en)
5. Beoordeling offerte(s) /
onderhandeling
Gemeente & instelling(en)
Fase 1 Vraag- en probleemanalyse
• Kennen we de vraag/ het probleem? Hoe brengen we
die in beeld?
• Cijfermatig en/of kwalitatief? Trends?
• Objectieve en subjectieve gegevens
• Opties voor onderzoek (survey, signalen van
burgers/klanten, via professionals, via
belangenorganisaties, ‘hearings’, klantenpanels)
• Wat is de oorzaak? (causale veldanalyse)
• Welke problemen opportuun, urgent? Consensus?
• Waarde-oordeel (verschillende brillen; referentiekaders)
Welk probleem/vraag is belangrijk/urgent?
Fase 1: welke probleemanalyse?
Voorbeelden:
• Wat is het ‘echte’ sociale probleem in wijken?
Gebrek buurtbetrokkenheid? Slechte onderlinge
contacten? Onveiligheid/overlast? Andere
leefbaarheidsproblemen? Te weinig initiatief?
• Wat is het echte probleem bij de jeugd?
 Achterstand bij sommigen? Welke (domeinen)?
Verveling / zinvolle vrije tijd? Kwetsbaar, maar
geen toegang hulp? Te weinig maatschappelijk
uitgedaagd? Druk? Leefwijze? Criminaliteit?
Fase 2: Visie:
maatschappelijk effect/ doelen
• Met welke problemen en vragen gaat de
gemeente aan de slag?
• Formuleer doelen met een ambitie
(SMART) o.b.v. uitkomsten fase 1
• Doel: datgene wat de gemeente aan
maatschappelijk effect in periode x wil
bereiken
• Draagvlak doelen?
Moet dat? Meetbare doelen? JA
• Art. 2.2, 2e lid, c Jeugdwet: gemeente maakt periodiek
(beleids)plan (uiterlijk 1 nov. 2014: eerste) met daarin:
- welke resultaten men wenst te behalen in planperiode;
- hoe gemeten gaat worden of deze zijn behaald
• Hetzelfde in Wmo: art. 2.1.2 , zesde lid
- ipv gemeten: welke criteria worden gehanteerd?
• Verschillende terminologie: “outcome”- doelen:
- “resultaten” (in de wet)
- “maatschappelijke outcome” (NJI / van Yperen)
SMART doelen formuleren en meten (1)
Maatschappelijk effect:
Vermindering sociaal isolement van ouderen
SMART doelstelling:
Bij doelgroep 65+-ers: afname van de groep (sterk) sociaal
geïsoleerden van 15% (nulmeting 2014) naar 10% (in 2017)
Indicatoren schaalscore (meetinstrument: survey onder doelgroep):
- mate dat men zich eenzaam voelt (subj.)
- aantal betekenisvolle contacten (obj.)
- aantal vrienden of naaste familieleden (obj.)
- hoeveelheid tijd die men besteedt met anderen (obj.)
SMART doelen formuleren en meten (2)
Maatschappelijk effect:
Verhoging zelfredzaamheid van mensen met beperking/ zo
lang mogelijk zelfstandig blijven wonen
SMART doelstelling:
Van de 1500 personen die onvoldoende zelfredzaam zijn,
wordt 80% bereikt, en daarvan is 70% na 2 jaar
voldoende zelfredzaam om zelfstandig te kunnen blijven
wonen (in 2016)
Of: vermindering van het aantal mensen dat zich aanmeldt bij sociaal
team en onvoldoende zelfredzaam is met 40% binnen 2 jaar
Indicatoren meetinstrument: survey of meting bij te bereiken
doelgroep; mbt de Zelfredzaamheidsmatrix (ZRM);welke domeinen?
SMART doelen formuleren en meten (3)
Maatschappelijk effect:
Verbetering van startpositie van kinderen (tot 4 jaar)
SMART doelstelling:
Percentage peuters dat met onderwijsachterstand naar de basisschool
gaat, neemt af van 30% (nulmeting 2014) naar 20% (in 2016)
Indicatoren (meetinstrument: peutertoets):
- minder woordenschat dan regulier
- minder kunnen toepassen van abstracte begrippen dan regulier
- onvoldoende vaardigheden
SMART doelen formuleren en meten (4)
Maatschappelijk effect:
Verbetering gedragsgewoonten bij jongeren
SMART doelstelling:
Vermindering van het aantal jongeren (bv. 12 – 18 jaar) met ongezonde
leefgewoonten, van 34% (nulmeting 2014) naar 20% (in 2017)
Of: vermindering van het aantal jongeren (op VMBO) dat rookt (van 40% naar
25%) en regelmatig alcohol drinkt (van 70% naar 50%)
Indicatoren schaalscore (meetinstrument: GGD onderzoek onder jongeren):
roken, drinken alcohol, drugsgebruik, onveilig vrijen, slechte eetgewoonten
(allemaal: nader specificeren)
Soorten doelen
• Outcomegerichte doelen:
- gericht op maatschappelijke veranderingen /burgers
- aangrijpingspunt: doelgroep
• Transformatiegerichte doelen
- gericht op veranderingen in werkwijze, uiteindelijk
leidend tot betere outcome en/of meer doelmatigheid
- aangrijpingspunt: systeem
Voorbeelden transformatiegerichte doelen jeugdhulp
• Jeugdregio Hart van Brabant:
-
-
gebruik van specialistische hulp gaat omlaag, ten
gunste van lichte hulp
de toegang/wijkteam schakelt sneller op en af,
gevolg: kortere doorlooptijden specialistisch aanbod
• Jeugdregio ZHZ:
-
Versterking preventieve en licht ambulante hulp leidt
tot afname beroep en dure vormen jeugdhulp
100% gezinnen meer meervoudige (complexe)
problematiek wordt gehlopen met methodiek 1 gezin
1 plan 1 begeleider
Voorbeeld van gemeente: Leerdam
• 9 thema’s van sociale problematiek
• SMART doelen  SMART resultaten
• mbt thema Ontwikkeling jeugd: deels aanhakend bij
doelen jeugdregio ZHZ, deels aanvullende doelen
Voorbeelden:
• Jeugdigen groeien gezond en veilig op; ambitie: gelijk
• 80% afname problematiek gezinnen/kinderen
• Toename zelfredzaamheid jeugdigen/ opvoeders
• Vermindering jaarlijks aantal OTS’en: 40  35
• 80% VVE-doelgroep is taalvaardig eind groep 2
Fase 3: resultaten formuleren
Resultaat:
de aanwijsbare verandering c.q gerealiseerde baat die een
(of meerdere) dienst(en) (bij burgers of maatschappelijk)
teweegbrengt en daarmee bijdraagt aan het doel, zoals:
- afname problematiek
- succesvolle interventie
- toename kennis
- verandering houding
- verbetering gedrag
- tevredenheid met oplossing
- tevredenheid met bejegening
Moet dat? Meetbare resultaten?
• Art. 2.2, 2e lid, c Jeugdwet: in gemeentelijk plan ook:
- welke outcomecriteria gehanteerd worden t.a.v.
jeugdhulpverlening en gecertificeerde instellingen
• Hetzelfde in Wmo: art. 2.1.2 , zesde lid
- outcomecriteria t.a.v. aanbieders
• Verschillende terminologie m.b.t. resultaten:
- “outcomecriteria” (in de wet)
- “voorzieningen outcome”, “prestatie-indicatoren“
(NJI / van Yperen)
Van sociaal beleid naar
opdrachtformulering
De uitvoeringsorganisatie
kan alleen afgerekend
worden op het resultaat
Visie
Maatschappelijk effect
SMART doelstelling
Resultaat
Resultaat
Sociaal beleid
SMART doelstelling
Resultaat
Resultaat
Opdrachtformulering
Indicator
Indicator
Indicator
Indicator
Gebruiksaanwijzingen bij resultaten
• Het geeft een indicatie van de effectiviteit
van een interventie; nadere analyse nodig
• Cijfers zeggen niet alles: tellen én
vertellen
• Bedoeld om zicht te krijgen op effectiviteit /
zinvolheid interventie, dus tool ter
verantwoording (zorgaanbieder/ soc. team)
• Niet per se om “op af te rekenen” al
kunnen er wel gevolgen aan zitten
SMART resultaat formuleren (3)
Doel:
Percentage peuters met onderwijsachterstand neemt af van 30%
(2014) naar 20% (2016)
Resultaat:
- 40% van de ‘zwakke’ peuters krijgen extra begeleiding,
waarbij 70% significant beter scoort (op peutertoets) dan
2 jaar eerder
- 70% van de ouders met ‘zwakke’ peuters krijgen
ondersteuning gedurende 1 ½ jaar, en 80% is daar
tevreden over
SMART resultaat formuleren (4)
Doel:
Vermindering van aantal jongeren op VMBO dat rookt (40%  25%) en
regelmatig alcohol drinkt (70%  50%)
Resultaat:
- Begeleiding van 100 jongeren (die drinken en roken),
waarbij er na 1 jaar: min. 60% een andere attitude heeft,
en min. 40% het gedrag heeft veranderd
- Het werven en ondersteunen van min. 20 jongeren die
zich als vrijwilliger actief inzetten om andere jongeren
van het roken en (overmatig) drinken af te houden
Volop ervaringen met resultaatmetingen in de jeugdhulp
Overzicht: Roerink, Uniforme prestatie-indicatoren voor
inkoop jeugdhulp (2013):
• vml. prov. gesubs. jeugdzorg: set van 10 indicatoren
(geautoriseerd VWS/Justitie , Jeugdzorg Ned.
(Movisie/NJI) (2008: nulmeting)
• jeugd ggz: basisset prestatie-indicatoren GGZ/VZ (vanaf
2006)
• Kinder- & jeugdpsychiatrie: Routine Outcome Monitoring
• Jeugdzorg plus: monitor jeugdzorg, is vorm van ROM
Doorbraak met ‘Outcome in zicht’?
• Gebaseerd op wens harmonisatie ‘outcomecriteria’
• Breed gedragen traject NJI: VWS, Justitie, VNG/KING
• Gebaseerd op “prestatie-incicatoren jeugdzorg’t.b.v. vml
prov. gesubs. Jeugdzorg
• 10 indicatoren (type resultaten) teruggebracht naar 3
hoofdvormen (14 sub-indicatoren):
uitval (jeugdhulp) en bereik (preventie)
tevredenheid t.a.v. het nut/ effect (bij cliënten)
doelrealisatie en probleemafname
Meerdere gestandaardiseerde instrumenten
Specifiek voor Wmo:
- Zelfredzaamheidsmatrix
- IPA: Impact op Participatie en Autonomie
(beide: van diagnose- naar evaluatie-instrument)
Diverse, o.a.:
- Effectenarena
- Veerkrachtmeting
NB. MBKA is ook heel interessant maar héél iets anders
Voorbeeld jeugdregio ZHZ
Monitoring doelen van
Beleidsrijk Reg. Transitie-arrangement:
-
Afname problematiek (80% afname vlg professionals)
Toename zelfredzaamheid
Tevredenheid over jeugdhulptaken (gemidd. 7,0)
Stijging % reguliere beëindiging hulptraject
Afname % dat terugvalt in problematiek
Indrukken Sociale monitors
- Nog vele in ontwikkeling
- Soms op regionaal niveau, soms lokaal, meestal met
kennisinstituten (GGD, werkplaatsen)
- Doorontwikkeling gemeentelijke monitor Sociaal Domein
(VNG/KING): aan de late kant…..
- De eerste monitors vooral nog gevuld met
prestatiegegevens en financiële gegevens (veel ‘mist’)
- Nog onvoldoende inzicht in hoe men gaat “duiden”
- Amper aandacht voor ‘meenemen’ gemeenteraad
(goede uitzondering: Overbetuwe)
Afspraken over resultaat met sociale (wijk-)teams
- geen pasklaar antwoord op te geven, want:
- sociale teams verschillen heel veel (3D of per doelgroep,
alle problematiek of alleen complexe, met verwijsfunctie
(toegang specialistische zorg) of niet
Monitoring van:
- Alleen resultaat ‘eigen’ functie/ondersteuning/hulp of
integrale monitoring client(syeem)?
- Verschuiving zorg per categorie (2e ‘1e  eigen/samenkracht)
Kan belangrijke rol krijgen bij meta-monitoring
Afspraken over resultaat in zorgcontracten
• in zorgcontracten voor 2015 onvoldoende gebeurd
• Goed voorbeeld jeugdzorg: Hart van Brabant  harde
afspraak dat zorgaanbieders per kwartaal rapporteren:
- doelrealisatie
- afname/stabilisatie problematiek
- clienttevredenheid
- tijdig geleverde zorg
• Interessant voorbeeld Wmo: Goirle + 3 andere
gemeenten  contactverplichting om op 8 thema’s
zelfredzaamheid/participatie te monitoren
• Wordt al veel gesproken over ‘resultaatfinanciering’ en
resultaatgerichte populatiebekostiging’: maar stelt nog
niks voor