Checklist
advertisement
Checklist Contactgegevens Onderstaand vult u de contactgegevens in van de eerste én tweede contactpersoon voor wanneer er vragen zijn over het instrument(en), de aangeleverde documentatie of anderszins. Eerste contactpersoon Naam Functie E-mailadres Telefoonnummer Werkdagen/-tijden Tweede contactpersoon Naam Functie E-mailadres Telefoonnummer Werkdagen/-tijden Matthieu den Hoedt Directeur Ipso Facto [email protected] 070-3260456 Maandag tot en met donderdag, 9.00-17.00 Mieke van der Veer Onderzoeker [email protected] 070-3260456 Maandag tot en met vrijdag, 9.00-17.00 Bijgevoegde documenten Onderstaand geeft u aan of alle voor de toetsing benodigde informatie is bijgevoegd. Instrument Documentatie over onderbouwing Ingevuld format Ingevulde checklist (contactgegevens, toelichting criteria) Ja Ja Ja Ja Toelichting criteria Op de volgende pagina geeft u aan of en in hoeverre aan de criteria voor de waaier van cliëntervaringsinstrumenten wordt voldaan. Tevens geeft u per criterium een toelichting op welke manier al dan niet aan het criterium wordt voldaan. 1. Meet ervaringen van individuele cliënten over de kwaliteit van de zorg en dienstverlening van de organisatie (gericht op domeinen van kwaliteit van bestaan).1 Toelichting criterium 1: Instrument(en) voldoet aan criterium Ja/in ontwikkeling/nee Ja De vragenlijst wordt verspreid onder alle cliënten van de instelling. Iedere cliënt beantwoordt vragen over de kwaliteit van de zorg en dienstverlening van de organisatie. Iedere cliënt wordt persoonlijk geadresseerd. De vragenlijst kan afhankelijk van de kenmerken van (een deel van) de populatie ook door ouders of vertegenwoordigers worden ingevuld, of door een onafhankelijke medewerker van de organisatie in de vorm van een interview met de cliënt. Op de onderstaande sheet is zichtbaar hoe we met de indeling van de vragenlijst aansluiten op de domeinen van kwaliteit van bestaan: Hoe sluit ons instrument aan bij het kwaliteitskader? • lichamelijk welbevinden • psychisch welbevinden • materieel welzijn • cliëntveiligheid • inter-persoonlijke relaties • deelname aan de samenleving • persoonlijke ontwikkeling • zelfbepaling • belangen 1. Wonen (intramurale cliënten) of kortdurend verblijf (extramurale cliënten) 2. (Para-)medische zorg Basale behoeften Sociale relaties en acceptatie Zelfverwezenlijking • zorgafspraken en ondersteuningsplan • kwaliteit van medewerkers en organisatie • samenhang in zorg en ondersteuning 3. Dagbesteding 4. Vrijetijdsbesteding 3. Dagbesteding 4. Vrijetijdsbesteding 5. Begeleiding Organisatie van zorg en dienstverlening 5. Begeleiding 6. Zorgplan en inspraak 6 Bron: workshop Ipso Facto en Leekerweide, Landelijke Kwaliteitsdag VGN, 9 januari 2012. De domeinen uit het kwaliteitskader staan links op de sheet. De volgorde is enigszins aangepast om ze te laten aansluiten op de praktijk (bij Leekerweide) en op het perspectief van de cliënt zelf. Het gaat dan bijvoorbeeld om cliëntveiligheid, we vinden een veilige omgeving voor de cliënt een basisbehoefte. We hebben deze domeinen vervolgens samengevat in vier overkoepelende thema’s: basale behoeften, sociale relaties en acceptatie, zelfverwezenlijking en de organisatie van zorg en dienstverlening. Deze thema’s vormen de inhoudelijke achtergrond van ons instrument, maar zijn te abstract als kader om van daaruit vragen aan cliënten te stellen. De vragenlijst is daarom concreter gemaakt door deze zoveel mogelijk te laten aansluiten op de praktijk en de belevingswereld van de cliënt. Dit betekent voor de structuur dat de vragenlijst is onderverdeeld in zes modules: begeleiding, wonen of kortdurend verblijf, dagbesteding, vrije tijd, dokters en therapie en ondersteuningsplan en inspraak. We stellen in elke module behalve vragen naar ervaringen van cliënten ook vragen over de relatie tussen de cliënt en de professional (zodat pijler 3 ook in het instrument wordt meegenomen). 1 Minimaal eens per drie jaar dienen alle cliënten te worden bevraagd met een instrument uit de waaier. 2. Genereert verbeterinformatie op individueel cliëntniveau. Deze verbeterinformatie kan worden geaggregeerd naar de organisatorische eenheid en/of naar de organisatie als geheel. Toelichting criterium 2: Ja/in ontwikkeling/nee Ja De basis van het onderzoek bestaat uit informatie die door de cliënt, een interviewer en/of een vertegenwoordiger van de cliënt wordt verstrekt middels een schriftelijke vragenlijst. Ipso Facto verzamelt de ingevulde lijsten en verwerkt ze in een databestand. Het databestand vormt vervolgens de basis voor de rapportage op organisatieniveau, maar kan ook gebruikt worden om op niveau van individuele cliënten of organisatie-eenheden te rapporteren. Op elke vragenlijst wordt de naam van de cliënt en de woonlocatie ingevuld (door de invuller/interviewer, of vooraf, door de instelling. Indien gewenst kan dat ook in gecodeerde vorm) en deze achtergrondinformatie wordt overgenomen in het databestand. Het databestand kan in bewerkte vorm worden teruggekoppeld naar de opdrachtgever. Denk aan een ‘geschoond’ bestand met de achtergrondgegevens van de cliënt (naam, (woon)locatie, leeftijd etc.) en antwoorden op de meest onderscheidende vragen (bijvoorbeeld open vragen, verbeterpunten, ‘slotvraag’). Met dat bestand kan voor iedere cliënt snel en eenvoudig worden opgezocht wat zijn of haar mening is op een selectie van onderwerpen, en welke verbeterpunten zijn benoemd. Uiteraard kan een dergelijke terugkoppeling op individueel niveau ook in schriftelijke vorm plaatsvinden, in korte individuele rapportages of dossiers, of door schema’s te maken voor meerdere cliënten tegelijk. Op niveau van organisatorische eenheden of woningen (groepen van minimaal 10 cliënten) bieden wij de mogelijkheid aan om factsheets op te stellen: korte rapportages (2 pagina’s) waarin wordt ingegaan op: de antwoorden op een selectie van 8-10 gesloten vragen ( ‘basisvragen’ uit de vragenlijst) een vergelijking van deze antwoorden met andere eenheden of woningen, en de gehele populatie de verbeterpunten (vragen waarbij een bepaald deel van de geselecteerde cliënten aangeeft niet tevreden te zijn, of dat verbetering mogelijk is) een vergelijking van rapportcijfers of schaalscores met andere woningen of eenheden en met de gehele populatie. De factsheets blijken in de praktijk een welkome aanvulling op de overkoepelende rapportage te zijn, vanwege de concrete aanknopingspunten voor verbetering op het niveau van eenheden, woningen of bijvoorbeeld dagbestedinglocaties. 3. Er wordt systematisch gewerkt aan validiteit, verbetering en onderbouwing van het instrument (als dat nog niet het geval is, krijgt men twee meetcycli om dit op orde te krijgen). Toelichting criterium 3: Ja/in ontwikkeling/nee Deels Ja, deels in ontwikkeling Wij streven altijd naar een optimaal ‘passend’ instrument. Dit betekent dat we uitgaan van een ‘vaste kern’ van de vragenlijst (vaststaande selectie van items), aangevuld met vragen of items die in overleg met de instelling worden geformuleerd. Ook vragen wij voorafgaand aan elke afname input van de cliëntenraad. Wij hanteren als basisprincipe dat het instrument zoveel mogelijk aansluiting heeft met de praktijk van de instelling. Dat betekent niet dat de ontwikkeling of onderbouwing van het instrument stilstaat: in het algemeen kan worden gezegd dat de vragenlijst continu evolueert met de ontwikkelingen in het veld en de eisen die worden gesteld aan onderzoek onder de doelgroep. Elk onderzoek wordt afgesloten met een evaluatie, waarbij met de opdrachtgever(en waar mogelijk ook met de interviewers) wordt ingegaan op mogelijke verbeterpunten van de vragenlijst en/of de wijze van dataverzameling. Betrouwbaarheid en validiteit De vragenlijst bestaat uit een aantal modules, en per module uit een set basisvragen (meerkeuze). Deze basisvragen worden beschouwd als schaal. Van elke schaal is de betrouwbaarheid bepaald door de interne consistentie te berekenen. De interne consistentie is goed, Cronbach’s alpha van elke schaal is ten minste 0.8. Ook is van elk item de correlatie (samenhang) met het totaal van de schalen bepaald (de item-totaal correlatie). Deze correlaties zijn niet altijd hoog, maar wel bijna altijd significant. Er is met andere woorden voor bijna alle items een zekere samenhang tussen de gekozen antwoorden en het totaal van de antwoorden in de hele schaal. Dit kan worden gezien als aanwijzing voor de validiteit van de gebruikte vragen. Het oordeel over de validiteit wordt verder onderbouwd door het oordeel van zowel onderzoekers als de medewerkers en eindgebruikers (de zogenoemde ‘face validity’). Een andere analyse die na elke afname wordt uitgevoerd heeft betrekking op de verdeling van de antwoorden op de afzonderlijke stellingen, zodat we zichtbaar maken welke stellingen ‘goed’ worden ingevuld/beantwoord en welke minder. Meer specifiek gaat het dan om het aandeel cliënten dat “weet niet” of “niet van toepassing” heeft geantwoord. Indien dit aandeel erg groot is, kan het onderscheidend vermogen van het betreffende item (of de toepasselijkheid op de situatie) in twijfel worden getrokken. Gezien de doelgroep hanteren we hier een ruime marge: minimaal 50% van de cliënten dient een ‘echt’ antwoord op de vraag te hebben gegeven (dat wil zeggen: mee eens, neutraal of niet mee eens). Uiteraard wordt hierbij wel rekening gehouden met de specificiteit van de vraag; van sommige vragen is bekend dat deze slechts voor een deel van de doelgroep van toepassing is (denk bijvoorbeeld aan vragen over de fysiotherapeut: deze zijn niet van toepassing voor de groep respondenten die geen fysiotherapie heeft). Na analyse van het antwoordpatroon in het verleden is een aantal van de ‘basis’-vragen te ingewikkeld bevonden en als gevolg daarvan verwijderd of anders geformuleerd bij een volgende afname. Afname van het instrument Een andere wijze waarop we het instrument verbeteren is door te kijken naar de wijze waarop het instrument wordt afgenomen. We geven een mondelinge instructie aan een selectie van interviewers en daarnaast bevat iedere vragenlijst een uitgebreid schriftelijke instructie. Wanneer de vragenlijst in de vorm van een interview wordt afgenomen, worden de antwoorden vastgelegd op een voorgecodeerd formulier. Het formulier wordt afgesloten met enkele vragen aan de interviewer: 1. 2. Wat is uw oordeel over hoe het interview is verlopen (en over de bruikbaarheid van de antwoorden)? Goed: (bijna) alle vragen behandeld, antwoorden zijn goed te gebruiken Redelijk: bijv. deel van de vragen niet behandeld, maar gegeven Niet goed: veel vragen niet behandeld en/of veel antwoorden niet bruikbaar Kunt u het antwoord toelichten? Denk daarbij aan de volgende aspecten: 3. antwoorden wel bruikbaar Heeft de cliënt duidelijke ideeën over wat hij/zij wel of niet leuk vindt? Waren er factoren die het interview hebben beïnvloed (bijvoorbeeld storende geluiden in de omgeving of de stemming van de cliënt)? Wat zijn de belangrijkste onderwerpen voor de bewoner? Heeft de cliënt duidelijke ideeën over wat eventueel verbeterd zou kunnen worden in de zorg of dienstverlening? Op basis van deze beoordeling wordt besloten hoe de gegeven antwoorden worden verwerkt in de eindrapportage. Met de derde vraag kunnen verbeterpunten op individueel niveau worden benoemd. Deze resultaten kunnen ook gebruikt worden in de individuele terugkoppeling zoals beschreven onder criterium 2. Verdere ontwikkeling van het instrument We streven naar continue verbetering van het instrument. Zoals hierboven beschreven is er sprake van evaluatie van het instrument na elke afname, maar daarnaast denken we ook over mogelijkheden om het instrument nog beter te laten aansluiten op wensen van de opdrachtgever en kenmerken van de cliëntenpopulatie. Een van de opties die we overwegen is het maken van versies voor verschillende (sub)doelgroepen. Zo denken we aan een verkorte versie voor cliënten met een lager niveau. Het gaat dan om een selectie van de vragen waarvan gebleken is dat ze goed te begrijpen zijn door de cliënten (de vragen die een duidelijk onderscheidend vermogen hebben), en die gezamenlijk een goede indruk geven van de mening van de cliënt op een aantal basale aspecten van het bestaan. Om het beeld vervolgens compleet te maken kan bij de cliënten die de verkorte vragenlijst invullen ter aanvulling de standaard vragenlijst naar de ouders/wettelijk vertegenwoordigers worden gestuurd.
