Op weg naar evidence-based toezicht Het onderzoek naar de

Op weg naar evidence-based toezicht
Het onderzoek naar de effecten van
toezicht door de IGZ
Saskia Pluijm
VIDE
9 juni 2011
Raadscommissie voor
Gezondheidsonderzoek (RGO)
De RGO, ingesteld in 1987, heeft tot
taak de ministers van VWS, OCW en
EZ te adviseren over prioriteiten in het
gezondheidsonderzoek, het
zorgonderzoek en de daarbij
behorende infrastructuur. Het
maatschappelijk perspectief is daarbij
steeds het uitgangspunt.
Inhoud
 
 
 
 
 
 
 
 
 
Achtergrond
Adviesaanvraag
Werkwijze
Onderzoeksmethoden
Onderzoekbaarheid
Relevante onderzoeksvragen
Infrastructuur
Aanbevelingen
Discussiepunten
Achtergrond (1)
 
 
 
Toezichthouders moeten efficient en
doelmatig toezicht houden
Sinds tachtiger jaren is het belang van
toezicht gegroeid
Kritiek op toezicht neemt echter ook toe
Achtergrond (2)
Waarom is effectmeting nodig?
  intern: verbeteren van de kwaliteit van
werken door te leren van de
toezichthoudende werkzaamheden, verdere
professionalisering van medewerkers
  extern: afleggen van verantwoording aan
samenleving
Achtergrond (3)
Algemene Rekenkamer:
  Handhaven en gedogen (2005): ‘er moet
meer inzicht komen in de effecten van
handhaving op de naleving en uiteindelijk
op de achterliggende doelen
  Handhaven en gedogen, Terugblik 2008:
‘de meting van de effectiviteit van
handhaving komt langzaam op gang’
Adviesaanvraag (1)
Oktober 2008: de Minister van VWS heeft
de RGO gevraagd om een advies over hoe
de effecten van toezicht door de IGZ
gemeten kunnen worden
Adviesaanvraag (2)
Evaluatieprogramma IGZ
  De rol van het toezicht in het
gezondheidszorgbeleid en de zorg
  De werkwijze en instrumenten van het
toezicht
  De effecten van het toezicht
Adviesaanvraag (3)
 
 
 
De stand van zaken in het Nederlandse en
internationale wetenschappelijke onderzoek
De manier waarop de effecten van het
toezicht door de IGZ wetenschappelijk
verantwoord onderzocht kunnen worden
De inrichting van een onderzoeksprogramma
en de benodigde infrastructuur
Werkwijze (1)
 
 
Oktober 2009: de RGO stelt een commissie in
met wetenschappelijke deskundigen uit
verschillende disciplines
10 leden:
  voorzitter: prof. J. Mackenbach (afdeling
maatschappelijke Gezondheidszorg, Rdam)
  adviseur IGZ: prof. P. Robben
  secretarissen: dr. N. de Neeling en
dr. S. Pluijm
Werkwijze (2)
1.  Literatuuronderzoek:
(PUBMED, EMBASE, grijze literatuur)
2.  kennis over de onderzoekbaarheid (hoe kan
onderzoek naar de effecten van toezicht het
beste uitgevoerd worden?):
  bestudering methodologische literatuur
  analyse van 5 casussen
Werkwijze (3)
3.  relevantie van mogelijke onderzoeksvragen:
  invitational conference met deskundigen
uit het veld (juni 2010)
  2 bijeenkomsten met IGZ
4. infrastructuur:
  bijeenkomst met de IGZ
Evidence based toezicht
Evidence based medicine: integreren van het
beste wetenschappelijke bewijs, de
individuele professionele expertise en de
waarden van de cliënt
Op weg naar evidence based toezicht:
  toetsbaarheid van het werk
  onderzoek naar de causale effecten
IGZ
Missie: de IGZ bevordert de volksgezondheid
door toezicht te houden op de kwaliteit van
de gezondheidszorg en medische producten
toezicht: drie deelprocessen:
  informatie verzamelen (meldingen,
calamiteiten, vragenlijsten)
  oordeelsvorming (op basis van risicoanalyse
en toets ter plekke)
  interventie
Effecten van toezicht (1)
Onderzoeksobject:
  effecten van toezicht: ‘de verschijnselen of
gebeurtenissen die zich voordoen ten
gevolge van toezicht’ (gevolgen van
toezicht) Object=causale relatie
Beleid
VWS
Input
Through
put
Output
Inspectie
Beroepsorganisaties
Koepels
De IGZ-effectketen
Vertrouwen
burgers
Outcome
Onder toezicht
staanden
Final
outcome
Volksgezondheid
Effecten van toezicht (3)
Een onderzoeksvraag omvat altijd twee
elementen:
  type toezicht
  soorten effecten
Effecten van toezicht (3)
Effecten van toezicht (3)
Elementen van toezicht:
  Toezicht als geheel
  Toezichtstrategieen: incidententoezicht, thematisch
toezicht, gefaseerd toezicht
 
Toezichtmaatregelen en instrumenten: o.a.
circulaire, brieven, verbeterplan, bevel, sluiting, tuchtklacht
 
Werkstijlen van inspecteurs
adviserend vs. controlerend of empathisch vs. afstandelijk
Effecten van toezicht (4)
Soorten effecten:
  Gewenste effecten:
  op de kwaliteit van het zorgproces
  op de volksgezondheid
  overige (bestuurlijke, politieke en
maatschappelijke effecten)
Effecten van toezicht (5)
 
Ongewenste effecten:
  hoge administratieve lasten
  onwil bij zorgaanbieders
  verdringingseffecten
  strategisch gedrag (manipulatie, fraude,
window dresssing)
  publiek wantrouwen
Effecten van toezicht (6)
Verstorende factoren: factoren die gerelateerd
zijn aan zowel de toezichtactiviteiten als aan
de mogelijke effecten
  sociale
  politieke
  economische
  patiëntgebonden factoren (genetische,
biologische, psychologische, leefstijl)
Effecten van toezicht (7)
Specifieke versus algemene onderzoeksvragen:
  specifieke, tijd-en plaatsgebonden activiteit.
Resultaten niet generaliseerbaar naar andere
tijdstippen, instellingen, populaties
  algemene onderzoeksvragen: onafhankelijk
van plaats en tijd. Onderzoek is gericht op
het genereren van algemene kennis; resultaten
zijn generaliseerbaar
Inventarisatie literatuur
geen effectonderzoeken
  kwalitatieve evaluaties van de werkwijzen van
de inspectie (VS, UK, Australië en NL)
(n=10)
  onderzoek naar de haalbaarheid van het meten
van de effecten van toezicht
 
Onderzoeksmethoden (1):
Mogelijke onderzoeksmethoden:
1  Kwantitatief onderzoek:
  experimenteel onderzoek: onderzoeker
wijst de onderzoekseenheden (de
ondertoezichtstaanden) voorafgaand aan
het toezicht at random toe aan een
bepaalde toezichtactiviteit (experimentele
groep) dan wel aan een controleconditie
die geen of een andere activiteit ondergaat
Onderzoeksmethoden (2):
 
niet-experimenteel onderzoek:
onderzoekers manipuleren niet, maar
maken gebruik van het feit dat er
spontaan verschillen in
toezichtactiviteiten kunnen ontstaan over
de tijd of tussen regio’s
Onderzoeksmethoden (3):
Niet-experimenteel onderzoek:
  quasi-experimenteel:
  interrupted time series
analysis tijdreeksanalyse
  pipeline approach
  matching
  zuiver observationeel
Onderzoeksmethoden (4):
2  Kwalitatief onderzoek:
 
articuleren van de doelen van toezicht
 
verhelderen mechanismen
 
begrijpen van de soorten effecten
Onderzoeksmethoden (5):
Drie vormen van kwalitatief onderzoek:
 
beleidstheoretische analyse
documentenanalyse en interviews
 
etnografisch onderzoek
interviews en observatie
 
case study
interviews, documentenanalyse, observatie
Onderzoeksmethoden (5):
3  Gecombineerde methoden:
combinatie van kwantitatieve en
kwalitatieve methoden
Onderzoeksmethoden (6):
Bewijskracht van de verschillende
methoden:
1  experimentele studie
2  quasi-experimente studie*
3  zuiver obeservationeel onderzoek*
4  kwalitatief onderzoek
*mits voldoende correctie mogelijk is voor verstorende factoren
Onderzoeksmethoden (7):
kwalitatieve methoden kan gebruikt
worden:
1.  verklaren waarom een bepaalde
toezichtactiviteit wel of niet werkt
2.  genereren van hypothesen
Onderzoekbaarheid (1)
 
 
selectie van 5 toezichtactiviteiten die de IGZ
in de afgelopen vijf jaar heeft uitgevoerd
representeren verschillende dimensies van
IGZ activiteiten (domeinen van de zorg,
verschillende inspectiemethoden en
maatregelen)
Onderzoekbaarheid (2)
 
 
 
 
 
circulaire overdosering methotrexaat
bulletins preventie ongewenste seksuele
intimiteiten
sluiten van de afdeling cardiologie van het
St Radboud ziekenhuis
verbetering van de kwaliteit van
verpleeghuiszorg
thematisch toezicht op de
jeugdgezondheidszorg
Onderzoekbaarheid (3)
Ex-post versus ex-ante onderzoek
  ex-post: onderzoek als de toezichtactiviteit
reeds is uitgevoerd
  ex-ante: onderzoek wordt opgezet, voordat
de toezichtactiviteit wordt uitgevoerd
Ex-post en ex-ante onderzoekbaarheid van de verschillende
toezichtmaatregelen die in de casus onderzocht zijn
Ex-post
Zorg
proces
Gezondheid
Ex-ante
Zorgproces
Gezondheid
1. Circulaire MTX
+
tijdreeks
tijdreeks
+
tijdreeks
tijdreeks
2. Bulletins ongewenste
seksuele intimiteiten
voor-na
meting
tijdreeks
++
trial
trial
3. Sluiting afdeling St
Radboud
kwalitatief
+/tijdreeks
+/voor-na
meting
+/tijdreeks
4. Intensief gefaseerd
toezicht
verpleeghuiszorg
kwalitatief
+
tijdreeks
voor-na
meting
+
tijdreeks
5. Thematisch toezicht
jeugdgezondheidszorg
voor-na
meting
tijdreeks
+
trial
+
trial
Conclusies onderzoekbaarheid (1)
  ex-post zijn de effecten minder goed te
meten dan met een ex-ante aanpak
  ex-post kunnen de gewenste effecten van
enkelvoudige activiteiten op het zorgproces
soms goed gemeten worden met een
tijdreeksanalyse indien er voor en na de
interventie betrouwbare effectmaten
beschikbaar zijn
Conclusies onderzoekbaarheid (2)
 
 
ex-ante kunnen de gewenste en ongewenste
effecten op het zorgproces en de
volksgezondheid goed worden gemeten met
een RCT, cluster-randomised trial, quasiexperimentele studie of tijdreeksanalyse
in een ex-ante onderzoek is het mogelijk om
vooraf effectmaten te ontwikkelen, te
selecteren en onafhankelijk te meten, en om
een goed contrast aan te brengen
Conclusies onderzoekbaarheid (3)
De onderzoekbaarheid van de gewenste effecten van
enkelvoudige en complexe toezichtactiviteiten op de kwaliteit
van het zorgproces en de volksgezondheid
Ex-post
Ex-post
Ex-ante
Ex-ante
Zorg
proces
Volks
gezondheid
Zorgproces
Volks
Gezondheid
Enkelvoudige
toezichtactiviteiten
+
+/-
+
+
Complexe
toezichtactiviteiten
-
-
+/-
+/-
Relevantie van onderzoekvragen (1)
 
Soorten toezichtactiviteiten
  wijzen van risicodetectie
Is risicodetectie door een inspecteur effectief om zorginstellingen die
onverantwoorde zorg leveren op te sporen?
 
soorten maatregelen
Is het uitbrengen van een circulaire effectief om de kwaliteit van het zorgproces
en de volksgezondheid in verpleeghuizen te verbeteren?
 
soorten toezichtstrategieen
Is incidententoezicht effectief om de kwaliteit van het zorgproces in de ketenzorg
te verbeteren?
 
soorten werkstijlen van inspecteurs
Relevantie van onderzoekvragen (2)
 
Soorten zorg
  soort zorginstelling
(openbare, curatieve, geestelijke gezondheidszorg, etc.)
 
soorten zorgactiviteit
(verpleegkundige, paramedische of medische zorg)
 
soorten doelgroep
(diagnosegroep, kwetsbare groep etc.)
  Gewenste versus ongewenste effecten
Relevantie van onderzoekvragen (3)
Tijdens een invitational conference noemden
verschillende partijen de volgende relevante
thema’s:
  de effecten van incidententoezicht
  de effecten van verschillende wijzen van
risicodetectie
  ongewenste effecten van toezicht, met name de
administratieve belasting
Relevantie van onderzoekvragen (4)
Criteria
  de omvang van het volksgezondheidsprobleem
  de mate waarin het vertrouwen in de zorg in
het geding is
  de omvang van de toezichtactiviteit in kwestie
  de belasting van de ondertoezichtstaanden
  de generaliseerbaarheid vd resultaten
  de praktische toepasbaarheid van de resultaten
Infrastructuur (1)
Cultuur van toetsbaarheid: systematisch
beschrijven van:
  aanleiding, aard en omvang van ieder
probleem
  de inhoud van de inspectie-interventie
  doel en beoogde resultaat van het toezicht
  hoe dat resultaat kan worden vastgesteld
  wanneer het vaststellen van het resultaat zijn
beslag zal krijgen
Infrastructuur (2)
Let wel!!!
Cultuur van toetsbaarheid levert geen
betrouwbare wetenschappelijke kennis op.
Daarvoor is gerichte onderzoeksinspanning
nodig
Infrastructuur (3)
Behoefte aan:
•  interactie tussen IGZ, onderzoekers en
zorgaanbieders
•  externe onderzoekers die meedenken, maar ook
spanning creëren en innovatieve
onderzoeksvragen bedenken
Infrastructuur (4)
• 
• 
Oprichting academische werkplaats
Open competitie
Aanbevelingen (1)
1 
2 
3 
Streef binnen de IGZ naar een cultuur van
toetsbaarheid
Breng een meerjarig
onderzoeksprogramma tot stand met
voldoende focus en massa
Ken in het onderzoeksprogramma
subsidies toe op basis van open competitie
tussen onderzoekers
Aanbevelingen (2)
4 
5 
Richt een academische werkplaats in
Investeer minimaal drie miljoen euro voor
vier jaar om het onderzoek naar effecten
van toezicht door de IGZ tot ontwikkeling
te brengen
Dank aan:
Commisieleden:
Prof. J.P. Mackenbach
Prof. W.J.J. Assendelft
Prof. R. Bal
Prof. L.M. Bouter
Prof. R. Grol
Prof. J. Kievit
Prof. F.L. Leeuw
prof. P.B.M. Robben
dr. C. Smit
dr. M.J.A. Tasche
dr. J.N.D. De Neeling
leden van de RGO
Gezondheidsraad
Hartelijk bedankt
Voor jullie aandacht!!
Discussiepunten
• 
• 
Vinden jullie het nuttig als inspecties
evidence based gaan werken?
Kunnen de aanbevelingen uit dit advies
toegepast worden bij andere inspecties?