Een onderzoek naar cliënttevredenheid

Een onderzoek naar cliënttevredenheid
in de jeugdhulpverlening
A. de Boer
S. Heera
M. van Langen
L. Muffels
M. Mul
Begeleid door:
Dr. G.J.J.M. Stams
Dr. W. Reith
Juni 2006
Universiteit van Amsterdam
Faculteit der Maatschappij- en Gedragswetenschappen
Onderwijsinstituut Pedagogische en Onderwijskundige Wetenschappen
Abstract
Dit onderzoek richt zich op het meten van cliënttevredenheid met behulp van de C-toets.
De onderzoeksgroep bestond uit N = 264 cliënten van een instelling voor jeugdzorg, zij
waren verdeeld over 46 behandelunits. De eerste doelstelling van dit onderzoek was het
vaststellen van de factoriële validiteit, betrouwbaarheid en onderscheidend vermogen van de
C-toets. De tweede doelstelling was om vast te stellen welke factoren een voorspeller zijn
van cliënttevredenheid. Omdat verwacht werd dat cliënttevredenheid voor een groot deel
bepaald wordt door tevredenheid over het leven is de Levenssatisfactieschaal toegevoegd om
dit te kunnen toetsen.
Met een confirmatieve factoranalyse werd een passend model gevonden dat bestond uit 5
factoren, met een hogere orde factor voor de 4 schalen van de C-toets. Met behulp van een
Multilevel analyse is gebleken dat er op geen van de schalen significante contexteffecten
waren, wat betekent dat de tevredenheid over de hulpverlening vooral wordt bepaald door
individuele kenmerken. Door middel van een multiple regressie analyse is gekeken door
welke variabelen individuele verschillen in cliënttevredenheid voorspeld worden. Uit dit
onderzoek kan geconcludeerd worden dat tevredenheid over het leven een voorspeller is voor
tevredenheid over de hulpverlening.
Inleiding
Op 1 januari 2005 is de Wet op de jeugdzorg in werking getreden. Door deze wet hebben
cliënten meer rechten en een sterkere positie gekregen. Het uitgangspunt van de wet is dat de
cliënt centraal staat in een meer transparant, eenvoudiger georganiseerd stelsel voor de
jeugdzorg. Niet meer het hulpaanbod van de zorgaanbieders, maar de hulpvraag van de cliënt
staat bij de organisatie van de jeugdzorg centraal (Informatiebrochure Wet op de jeugdzorg,
2005). Op deze manier ontstaat er een vraaggerichte manier van werken tussen cliënt en
hulpverlener. Input van de cliënt is hierbij zeer belangrijk. Om deze input te vergaren, wordt
er binnen de jeugdzorg gebruik gemaakt van cliënttevredenheidsonderzoeken, die de mate
van tevredenheid over de geboden hulpverlening proberen te meten.
Het kijken naar cliënttevredenheid wordt gebruikt als een manier om de waardering voor
hulpverlening te meten (Van Yperen, 2003). Over het algemeen kan gesteld worden dat
cliënten meer waardering voor de hulpverlening hebben als zij duidelijke informatie
ontvangen over de behandeling, meer inspraak in de behandeling hebben, positief door de
hulpverlener bejegend worden en tevreden zijn over het resultaat van de behandeling
(Bransen, Van Wijngaarden & Kok, 2003). Ondanks cliënttevredenheid steeds belangrijker
lijkt te worden in de jeugdzorg is er op dit moment is er nog geen consensus over de wijze
waarop cliënttevredenheid het beste kan worden vastgesteld (Ramos et al., 2006). In veel
theorieën en definities wordt tevredenheid opgevat als een evaluatief oordeel over een dienst.
Deze evaluatie ontstaat door de uiteindelijke prestatie van een dienst te vergelijken met de
verwachtingen die men vooraf hierover heeft. Deze verwachtingen en beoordelingscriteria
verschillen uiteraard per cliënt en per dienst (Van Buuren, Van Vree, & Scholten, 2001).
Tevredenheid wordt in veel verklarende woordenboeken (o.a. Cambridge University Press,
2002) omschreven als een gevoel dat direct in verband staat met behoeften, letterlijk: ‘het
krijgen van een prettig gevoel bij het ontvangen van iets dat je wilde hebben of bij het doen
van iets dat je wilde doen’. Deze gewaarwordingen zijn te interpreteren als emoties die het
gevolg zijn van subjectieve waardering van waargenomen of ervaren kwaliteit van het
dienstenaanbod (Gotlieb, Grewal & Brown, 1994). In deze studie heeft tevredenheid
betrekking op ervaringen en observaties die cliënten opdoen binnen de jeugdhulpverlening.
In Nederland zijn er ten behoeve van de jeugdzorg enkele instrumenten ontwikkeld om
cliënttevredenheid mee vast te stellen. De voorkeur lijkt momenteel uit te gaan naar de Ctoets. (Franssen & Jurrius, 2005). De C-toets is een veel gebruikte, schriftelijk of telefonisch
af te nemen vragenlijst voor cliëntenfeedback. Het doel van de C-toets is het signaleren wat
ouders en jongeren vinden van belangrijke aspecten van de jeugdzorg (Franssen & Jurrius,
2005). De uitkomsten worden gebruikt voor verbeteringen van de jeugdzorg vanuit het
oogpunt van cliënten. Op deze manier worden cliënten betrokken bij het verbeteren van de
hulpverlening (Jumelet, Welling, Jurrius, & Havinga, 2003). De vragenlijst is gebaseerd op
informatie verkregen uit meerdere cliënttevredenheidsonderzoeken. Daarnaast is de expertise
die is opgedaan bij het ontwikkelen van bijvoorbeeld de Jeugdthermometer GGZ gebruikt
voor het ontwikkelen van de C-toets (Konijn, 2003). Uit onderzoek is gebleken dat de mate
van cliënttevredenheid sterk samenhangt met de initiële motivatie en verwachtingen van de
cliënt. Cliënten die met een sterke motivatie en met hoge verwachtingen het traject
begonnen, bleken uiteindelijk meer tevreden te zijn over het traject. Men kan dus
veronderstellen dat hoge verwachtingen leiden tot een grotere tevredenheid. Er is dan sprake
van een zogenaamde “self-fulfilling prophecy”. Niet alleen verwachtingen, maar ook de
motivatie kan verschillen tussen cliënten. Ook met betrekking tot de motivatie kan men een
“self-fulfilling prophecy” veronderstellen. Gemotiveerde cliënten zullen zich positiever
opstellen, waardoor de hulpverlening beter verloopt en meer effect heeft, wat uiteindelijk
meer tevredenheid tot gevolg heeft (Cremer, Brenninkmeijer & Blonk, 2002).
Cliënttevredenheid lijkt dus mede bepaald te worden door interne factoren van de cliënt
voordat deze aan een traject begint.
De verwachting is dat dit in de jeugdzorg ook van toepassing is. Cliënttevredenheid in de
jeugdzorg wordt voor het grootste deel bepaald door cliëntkenmerken (e.g. sekse, leeftijd,
SES, verwachtingen ten aanzien van hulpverlening). Dit betekent dat de hulpverlening
weinig invloed heeft op de uiteindelijke tevredenheid van de cliënt. De C-toets is echter
ontwikkeld om een uitspraak te doen over de kwaliteit van de hulpverlening, door de
cliënttevredenheid te meten. Naast de C-toets zou een vragenlijst over algemene tevredenheid
over het leven afgenomen kunnen worden. Er wordt namelijk verwacht dat tevredenheid over
het leven een sterke voorspeller van tevredenheid over de hulpverlening is.
De Satisfaction With Life Scale, afgekort SWLS, meet namelijk op een betrouwbare en
valide manier de algemene tevredenheid over het leven (Diener, Emmons, Larsen, & Griffin,
1985). Life satisfaction verwijst naar een evaluatief proces waarin een individu de kwaliteit
van het leven beoordeelt op basis van een reeks eigen gekozen criteria (Diener, Emmons,
Larsen, & Griffin, 1985; Shin & Johnson, 1978). Als het werkelijke leven overeenkomt met
de zelfgekozen reeks van criteria, is er sprake van een hoge tevredenheid over het leven.
Om meer inzicht in de kwaliteit van de geboden hulpverlening te krijgen, is het nodig dat
de C-toets gedecontamineerd wordt voor tevredenheid over het leven. Dit geschiedt door
middel van confirmatieve factoranalyse (zie voor een dergelijke aanpak PaulussenHoogeboom, Stams, Peetsma, & Hermans, in press). Dit onderzoek naar cliënttevredenheid in
de jeugdhulpverlening is een eerste aanzet daartoe. Daarnaast richt dit onderzoek zich op de
factoriële validiteit, betrouwbaarheid en het onderscheidend vermogen van de C-toets. Met
behulp van een confirmatieve factoranalyse zal de factoriele validiteit vastgesteld worden en
het onderscheidend vermogen door middel van een multilevel analyse.
Methode
Participanten
De onderzoeksgroep in dit onderzoek bestond uit cliënten van Stichting Jeugdformaat, een
instelling voor jeugdzorg. Deze instelling biedt verschillende soorten hulpverlening: daghulp,
crisis-, ambulante- en gecombineerde hulpverlening. De respondenten waren verdeeld over 46
behandelunits. In totaal is er naar 830 ouders per post een vragenlijst (C-toets) verstuurd. In
totaal stuurden 95 ouders de vragenlijst binnen 10 dagen terug, wat een respons betekende van
11%. Na het versturen van een herhalingsbrief naar de ouders steeg de respons naar 32%, 264
ouders hebben de vragenlijst in totaal teruggestuurd: N = 264
Het grootste gedeelte van de ouders was van Nederlandse afkomst: 67%. Daarnaast kwam
11,5% van de Nederlandse Antillen, 4,2% uit Afrika, 3,5% uit Turkije, 2,7% Zuid Amerika,
9,3% uit overige landen. De grootste groep van de ouders had één kind in behandeling,
namelijk 93%. Een aantal ouders had meer dan één kind in behandeling: 7%. Per gezin is één
vragenlijst verstuurd met de vraag deze in te vullen over het hulpverleningsproces van het
oudste kind.
De verdeling jongens / meisjes was in dit onderzoek als volgt: 39% meisjes en 61%
jongens. De gemiddelde behandelduur van deze kinderen was 1,1 jaar, en varieerde van 1
maand tot 8 jaar en 10 maanden. De leeftijd van de kinderen varieert tussen de 2 en de 19 jaar,
met een gemiddelde leeftijd van 11,0 jaar.
De C-toets
De C-toets bestaat uit 21 items verdeeld over de volgende schalen: contact en bejegening,
professionaliteit, informatie en voortgang, en doel en resultaat. De cliënten werden gevraagd
op een 4 puntsschaal aan te geven in hoeverre zij het eens zijn met de uitspraken. (1=helemaal
niet mee eens, 4= helemaal mee eens). Hoewel de betrouwbaarheid van deze schalen hoog is,
variërend tussen α=.77 en α=.94, wordt in het onderzoek van Jumelet et al. (2003) aangeraden
de stellingen afzonderlijk van elkaar te bekijken en niet te veel waarde te hechten aan de
indeling in schalen. Naast de 21 items werd de cliënt gevraagd om een cijfer te geven aan de
hulpverlening die zij ontvangen van de instelling. Het is de bedoeling dat dit cijfer een beeld
geeft van de algemene tevredenheid over de hulpverlening. In het onderzoek van Jumelet et
al. (2003) wordt echter gesteld dat niet teveel waarde gehecht moet worden aan het
rapportcijfer omdat dit cijfer geen juiste weergave van de algemene tevredenheid is. Als
afsluiting van de C-toets kunnen ouders aangeven over welke aspecten van hulpverlening zij
heel tevreden zijn, waar zij minder tevreden over zijn, en of er nog algemene opmerkingen
zijn. Ook wordt gevraagd of er ouders zijn die mee willen praten over de uitkomsten van de
C-toets.
De Levenssatisfactieschaal
Naast de hierboven beschreven vaste indeling van de C-toets, is het mogelijk om 6 vragen
naar eigen inzicht toe te voegen. In dit onderzoek zijn 5 vragen toegevoegd over algemene
tevredenheid over het leven, en 1 vraag over de samenwerking tussen Stichting Jeugdformaat
en Bureau Jeugdzorg.
Om de algemene tevredenheid over het leven te meten, is in dit onderzoek gebruik
gemaakt van de Levenssatisfactieschaal, een vertaling gemaakt door Bosma & van Halen
(1993) van de Satisfaction With Life Scale (Diener, Emmons, Larsen, & Griffin, 1985). Deze
schaal bestaat uit 5 items, waarbij de cliënten op een 4-puntsschaal aan konden geven in
hoeverre zij het eens waren met de stellingen. (1 = helemaal mee oneens, 4 = helemaal mee
eens). Een voorbeeld van een item is: “Mijn leven komt in het algemeen dicht bij mijn
ideaal”. De interne consistentie van deze vertaalde schaal - zoals gevonden in het onderzoek
van Bosma & van Halen – was net als de oorspronkelijke versie hoog, namelijk .87.
Resultaten
Resultaten factoranalyse en betrouwbaarheid van de schalen
Het onderzoek naar de factorstructuur van de C-toets is uitgevoerd met behulp van een
confirmatieve factoranalyse. In verband met scheve verdelingen op bijna alle items, en de
geneste structuur van de data (cliënten zijn genest in behandelunits), hebben we gebruik
gemaakt van een schattings- en toetsprocedure die robuust is voor schending van normaliteit
en onafhankelijkheid. De vergelijking van modellen is uitgevoerd met de Satorra-Bentler
‘scaled’ chi-kwadraat toets (Satorra & Bentler, 1994).
Na 10 items met significante ladingen op meerdere factoren, lage verklaarde variantie en
hoge residuele correlaties verwijderd te hebben, werd een passend model gevonden dat
bestond uit 5 factoren, met een hogere orde factor voor de 4 schalen van de C-toets. De exact
fit was X2 (95) = 116.52, p = .07, RMSEA = 0.03. In het artikel van Ramos et al. (2006) is
gezocht naar een close fit model, in dit onderzoek is gezocht naar een exact fit model, dat aan
strengere eisen voldoet. Als genoegen wordt genomen met een close fit model kunnen item 2
(“De medewerkers nemen mij serieus”) en item 9 (“Medewerkers hebben voldoende kennis
om ons te kunnen helpen”) behouden worden. De gevonden factoren van het exact fit model
(contact en bejegening, professionaliteit, informatie en voortgang, doel en resultaat, en
tevredenheid over het leven) en de daarbij behorende items zijn weergegeven in tabel 1.
De eerste vier factoren (contact en bejegening, professionaliteit, informatie en voortgang,
doel en resultaat) correleren hoog met elkaar, de vijfde factor (tevredenheid over het leven)
correleert matig met de andere vier factoren (zie tabel 2). Vanwege de hoge correlaties tussen
de afzonderlijke C-toets schalen werd een hogere orde factor toegevoegd aan het model. Deze
bleek goed te passen. De interne consistentie van alle schalen was hoog: contact en
bejegening α = .86, professionaliteit α = .74, informatie en voortgang α = .84, doel en
resultaat α = .85, tevredenheid over het leven α = .89. Ook de interne consistentie van de
totale C-toets was goed: α = .91.
Er is een significante hoge correlatie gevonden tussen het rapportcijfer en de totaalscore
voor tevredenheid over hulpverlening r = .80, p<.001. Deze hoge samenhang wijst op
convergente validiteit van de C-toets.
Resultaten Multilevel analyse
Met behulp van een Multilevel analyse is gekeken naar de mate waarin cliënttevredenheid
bepaald wordt door kenmerken van de hulpverlening (context), of door kenmerken van het
individu. Vervolgens is geprobeerd te verklaren door welke variabelen deze context- en
individuele effecten bepaald werden, hierbij is gekeken naar de volgende variabelen: leeftijd
van het kind, geslacht van het kind, tevredenheid over het leven, culturele achtergrond van
ouder en duur van de hulpverlening bij Jeugdformaat.
Op geen van de schalen waren de contexteffecten significant, wat betekent dat de
tevredenheid over hulpverlening vooral wordt bepaald door individuele kenmerken.
(contexteffect contact en bejegening 3%, professionaliteit 3%, informatie en voortgang 0%,
doel en resultaat 0%, algemene tevredenheid 2%, rapportcijfer 1%). Met behulp van multiple
regressie analyse in SPSS is gekeken welke variabelen individuele verschillen in
cliënttevredenheid voorspellen.
Resultaten regressie analyse
Voor de schaal contact en bejegening zijn twee predictoren gevonden die voorspellen in
welke mate de cliënten tevreden zijn over dit aspect van hulpverlening. F (2, 232) = 11.00, p
<.001, R =.29. De tevredenheid over het leven, en de duur van de behandeling verklaarden
respectievelijk 6% en 2% van variantie. De tevredenheid over het leven hing positief samen
met de tevredenheid over contact en bejegening: b = .24, t = 3.80, p < .001. De duur van de
behandeling hing negatief samen met de tevredenheid over contact en bejegening. Een langere
behandeling betekende minder tevredenheid over contact en bejegening. b = -.16, t = -2.48, p
<.05.
Voor de schaal professionaliteit vonden we één significante predictor: F (1,233) = 16.38,
p <.001, R =.26. Tevredenheid over het leven verklaarde 7% van de variantie. De
tevredenheid over het leven hing positief samen met de tevredenheid over professionaliteit: b
= .26, t = 4.05, p < .001.
Voor de schaal informatie en voortgang werd eveneens één significante predictor
gevonden: F (1, 234) = 19.405, p<.001, R =.28. 8% van de variantie werd verklaard door
tevredenheid over het leven. Des te meer ouders tevreden zijn over hun leven, des te
positiever oordelen zij over informatie en voortgang: b = .28, t = 4.41. p<.001.
De duur van de opname en de tevredenheid over het leven waren significante predictoren
voor tevredenheid over doel en resultaat van de behandeling: F (2, 233) = 14,49, p <.001, R =
.33, met respectievelijk 2% en 10% verklaarde variantie. De duur van de opname hing
negatief samen met tevredenheid over doel en resultaat: b = -.13, t = -2.02, p <. 05.
Tevredenheid over het leven hing positief samen met doel en resultaat: b = .30, t = 4.83, p
<.001.
Voor
algemene
tevredenheid
werden
twee
significante
predictoren
gevonden,
tevredenheid over het leven en behandelduur, die respectievelijk 9% en 2% van de variantie
verklaarden: F (2,233) = 14.45, p < .001, R = .33. Er bestaat een positief verband tussen de
tevredenheid over het leven en de algemene tevredenheid over de hulpverlening: b = .30, t =
4.80, p < .001. De behandelduur hing negatief samen met algemene tevredenheid: b = -.13, t =
-2.07, p < .05.
De regressieanalyse op het rapportcijfer resulteerde in drie significante predictoren: F
(3,223) = 8.96, p<.001, R = .33. Tevredenheid over het leven, de culturele achtergrond van de
ouder, en de duur van de behandeling verklaarden respectievelijk 6%, 3% en 2% van de
verschillen in het rapportcijfer. Tevredenheid over het leven hing positief samen met de
hoogte van het rapportcijfer: b = .23, t = 3.58, p <. 001. Allochtone ouders gaven een hoger
cijfer dan autochtone ouders: b = .18, t = 2.75, p < .01. De duur van de behandeling hing
negatief samen met de hoogte van het rapportcijfer, des te langer de behandeling duurde, des
te lager was het cijfer dat de ouders gaven: b = -.13, t = -1.98, p < .05.
Tabel 1
Factorstructuur van de C-toets en Levenssatisfactie schaal
1-orde factoren
Schalen en items
1
2
3
4
2-orde factor
5
Contact en bejegening
.80
De medewerkers zijn vriendelijk
.80
Er is begrip voor onze problemen
.83
Professionaliteit
.92
Ik krijg goede adviezen
.78
We werden meteen geholpen toen dat nodig was
.68
Informatie en voortgang
.99
Ik ken de inhoud van het hulpverleningsplan
.63
Onze persoonlijke gegevens worden zorgvuldig behandeld
.79
Ik ben tevreden over het aantal hulpverleners dat ons gezin
.87
bij de instelling heeft gehad
Doel en resultaat
.95
Ik weet wat het doel van de hulp is
.79
Mijn mening is bepalend bij beslissingen over de hulp
.73
De hulp sluit goed aan op wat ik wil veranderen
.80
Ik zou een ander aanraden hulp te zoeken bij de instelling
.71
Tevredenheid over het leven
Mijn leven komt in het algemeen dicht bij mijn ideaal
.81
Mijn leven ziet er prima uit
.93
Ik ben tevreden met mijn leven
.91
Tot nu toe heb ik de belangrijkste dingen die ik in het leven wil
.67
ook gekregen
Als ik mijn leven over kon doen, zou ik er vrijwel niets aan
.60
veranderen
Tabel 2
Gemiddelden, standaarddeviaties en correlaties tussen de schalen van de C-toets en de
Levenssatisfactie schaal.
M
SD
1
2
3
4
5
6
1. Contact en bejegening
3.52
.53
1.00
2. Professionaliteit
3.11
.70
.85
1.00
3. Informatie en voortgang
3.30
.55
.81
.91
1.00
4. Doel en resultaat
3.28
.57
.74
.85
.95
1.00
5. Tevredenheid over leven
2.66
.65
.24
.35
.31
.37
1.00
6. Rapportcijfer tevredenheid
7.45
1.65
.69
.73
.66
.71
.24
1.00
Discussie
Het doel van deze studie was het onderzoeken van de factoriële validiteit,
betrouwbaarheid en het onderscheidend vermogen van de C-toets. Daarnaast werd gekeken
naar de invloed van tevredenheid over het leven op tevredenheid over de hulpverlening. De
steekproef bestond uit 264 ouders verdeeld over 46 behandelunits. De hulpverlening varieerde
van daghulp, crisisopvang, ambulante hulp tot gecombineerde hulpverlening.
Met behulp van een confirmatieve factoranalyse werd er een exact fit model gevonden
met 5 factoren (10 items), namelijk contact en bejegening, professionaliteit, informatie en
voortgang, doel en resultaat, tevredenheid over het leven en de hogere orde factor algemene
tevredenheid. De interne consistentie van de schalen was hoog, wat duidt op een hoge
betrouwbaarheid. Wel moet hierbij opgemerkt worden dat er tussen de schalen sprake was
van een hoge correlaties, wat betekent dat de subdimensies van de C-toets weinig specifiek
zijn, wat zou kunnen betekenen dat er een hogere orde factor is die de relaties tussen de
schalen zou kunnen verklaren. Daarnaast moet opgemerkt worden dat de factorstructuur die
gevonden is in het onderzoek, niet geheel overeenkomt met de factorstructuur uit het
onderzoek van Ramos et al. (2006). Er is dezelfde dimensionaliteit gevonden, maar op
itemniveau zijn verschillen geconstateerd. Dit duidt erop dat de C-toets op itemniveau niet
geheel stabiel is, maar de 4-factoroplossing wel, zelfs na decontaminatie. Opgemerkt kan
worden dat de vergelijking van het model van Ramos et al. (2006) en model uit deze studie
alleen door interpretatie gebeurd is en niet door toetsing.
Tussen het rapportcijfer en de totaalscore voor tevredenheid over hulpverlening is een
significante hoge correlatie gevonden. Dit wijst op convergente validiteit van de C-toets.
Met behulp van een multilevel analyse is gekeken naar de mate waarin cliënttevredenheid
bepaald wordt door contextfactoren en individuele factoren. Er kan geconcludeerd worden dat
tevredenheid over de hulpverlening in dit onderzoek geheel door individuele kenmerken werd
bepaald en niet door contextfactoren.
Door middel van multiple regressie analyse is gekeken door welke variabelen individuele
verschillen in cliënttevredenheid voorspeld worden. Op de schalen contact en bejegening,
doel en resultaat en algemene tevredenheid is een positieve samenhang gevonden met
tevredenheid over het leven en een negatieve samenhang met de behandelingsduur. Op de
schalen professionaliteit en informatie en voortgang is er een positieve samenhang gevonden
met tevredenheid over het leven.
De verwachting was dat tevredenheid over het leven een sterke voorspeller zou zijn van
tevredenheid over de hulpverlening. In dit onderzoek is een significante positieve correlatie
gevonden tussen de levenssatisfactieschaal en de vier schalen van de C-toets (zie tabel 2). Er
kan dus geconcludeerd worden dat tevredenheid over het leven een voorspeller is voor de
tevredenheid over de hulpverlening.
In dit onderzoek zijn voor het rapportcijfer drie significante predictoren gevonden,
namelijk tevredenheid over het leven, de culturele achtergrond van de ouder en de duur van
de behandeling. Het rapportcijfer wordt volgens Jumelet et al. (2003) gebruikt als indicator
voor het algemene oordeel, maar het is geen goede indicator voor de hele vragenlijst. Er mag
niet te veel waarde gehecht worden aan de vergelijking van de rapportcijfers van
verschillende instellingen (Jumelet et al., 2003). Dit zou wel kunnen als het rapportcijfer
daadwerkelijk de kwaliteit van de geboden hulpverlening zou weergeven.
Aanpassing van de C-toets lijkt nodig te zijn. In dit onderzoek is een passend model
gevonden voor de C-toets, maar de factoren zijn op itemniveau instabiel en weinig specifiek.
Er vallen veel items uit (meer dan de helft), waardoor de betrouwbaarheid van de schalen
afneemt. Dit is met name het geval bij de schalen contact en bejegening, professionaliteit en
informatie en voortgang. De C-toets beschikt over factoriële validiteit, maar deze kan nog
versterkt worden door items toe te voegen die voor meer specificiteit van de schalen zorgen.
Omdat er bij het ontwikkelen van de C-toets bewust gekozen is voor een balans tussen
een zo volledig mogelijke en toch eenvoudig en overzichtelijke vragenlijst, gaat de voorkeur
uit naar het aanpassen van de bestaande items in plaats van het toevoegen van nieuwe items
(Jumelet, Welling, Jurrius en Havinga, 2003). Jumelet et al. (2003) geven aan dat een lage
factorlading betekent dat een item niet duidelijk bij een schaal is onder te brengen, maar dat
deze wel informatief kan zijn. Men kan zich echter afvragen of dit een juiste opvatting is,
aangezien factoranalyse nu juist duidelijk maakt wat de inhoudsvaliditeit van zowel de
schalen als de afzonderlijke items is.
Hoewel de items van de C-toets 4 antwoordcategorieën hebben, was er weinig spreiding
van de antwoorden. In feite is er sprake van dichotome vraagstellingen. Door de vragen
anders te formuleren bestaat de kans dat mensen minder op een ja/nee wijze zullen
antwoorden.
Dit onderzoek heeft een aantal beperkingen. Ondanks de steekproefgrootte was er een
ongelijke verdeling van de respondenten over de behandelunits. Verder is in dit onderzoek
alleen gebruik gemaakt van schriftelijke vragenlijsten, in vervolgonderzoek zou er ook een
interview afgenomen kunnen worden. Door het houden van een interview met ouders kan er
een duidelijker beeld ontstaan over de tevredenheid van de hulpverlening, omdat het zelfde
construct dan op twee verschillende manieren gemeten wordt.
De belangrijkste conclusies van dit onderzoek zijn dat er een passend model gevonden is
voor de C-toets, maar de factoren zijn weinig specifiek en op itemniveau instabiel. Daarnaast
is de tevredenheid over het leven een voorspeller voor de tevredenheid over de hulpverlening
op individueel niveau. Tenslotte blijkt de C-toets vooral individuele kenmerken van
tevredenheid te meten, terwijl de doelstelling van het meten van cliënttevredenheid is dat het
moet leiden tot meer inzicht in de kwaliteit van de geboden hulpverlening.
Literatuur
Bransen, M., Van Wijngaarden, B., & Kok, I. (2003). De ontwikkeling van de GGZ
Jeugdthermometer. Utrecht: Trimbos-instituut
Cremer, Brenninkmeijer & Blonk (2002). Tevreden cliënt, geslaagde reïntegratie? Hoofddorp:
TNO
Diener, E., Emmons, R.A., Larsen, R. J., & Griffin, S. (1985). The Satisfaction With Life
Scale. Journal of Personality Assessment, 49, 1
Franssen, J., & Jurrius, K. (2005). De C-toets getoetst: Ervaringen, ontwikkelingen, en
plannen rondom de C-toets. Nederlands Tijdschrift voor Jeugdzorg, 6, 293 - 296
Gotlieb, J.B., Grewal, D., & Brown, W. (1994). Consumer satisfaction and perceived quality:
Compelmentary or divergent constructs? Journal of Applied Psychology, 79, 875 – 885
Jumelet, H., Welling, M., Jurrius, K., & Havinga, L. (2003). Verantwoording C-toets.
Amsterdam: Stichting Alexander
Konijn, C. (2003). De jeugdthermometer: Waardering van bureau jeugdzorg door cliënten.
Utrecht: NIWZ
Ministerie van Volksgezondheid, Welzijn en Sport (2005) Informatiebrochure Wet op de
Jeugdzorg. Den Haag: Ministerie van Volksgezondheid, Welzijn en Sport.
Paulussen Hoogeboom, M. C., Stams, G. J. J. M., Hermanns, J. M. A., & Peetsma, T. T. D.
(in press). Negative emotionality and parenting from infancy to preschool: A meta-analytic
review. Developmental Psychology.
Ramos, C., Stams, G.J.J.M., Stoel, R., Faas, M., Van Yperen, T., & Dekovic, M. (2006). Het
meten van cliënttevredenheid in de Jeugdzorg
Satorra, A., & Bentler, P.M. (1994). Corrections to test statistics and standards errors in
covariance structure analysis. In A. von Eye and C.C. Cloggs (Eds), Latent Variable Analysis:
Applications to Developmental Research (pp. 399-419). Newbury Park: Sage Publication.
Shin, D.C. & Johnson, D.M. (1978). Avowed happinessasan overall assessment of the quality
of life. Social Indicators Research, 5, 475-492
Sixma, H.L., Spreeuwenberg. P.M.M., & Pasch van der, M.A.A.M. (1998) Patient satisfaction
with the general practitioner: A two level analysis. Med Care, 36, 212-229
Van Buuren, Van Vree & Scholten (2001). Tevredenheidsonderzoek hulpmiddelen.
Voorstudie naar modellen voor het uitvoeren van tevredenheidsonderzoek. Leiden: Ministerie
van Volkshuisvesting, Welzijn en Sport
Van Halen, C. & Bosma, H. (1993) Zelfconceptieproblematiek bij adolescenten. Tijdschrift
voor pedagogiek, psychiatrie en psychologie, 14, 3
Van Yperen, T.A. (2003). Gaandeweg. Utrecht: NIWZ Uitgeverij
Initieel Model
TESTS OF MODEL FIT
Chi-Square Test of Model Fit
Value
629.717*
Degrees of Freedom
289
P-Value
0.0000
CFI/TLI
CFI
0.892
TLI
0.878
RMSEA (Root Mean Square Error Of Approximation)
Estimate
0.072
MODEL RESULTS
Estimates
S.E.
Est./S.E.
V1
1.000
0.000
0.000
0.450
0.827
V2
1.237
0.041
30.156
0.557
0.902
V3
1.111
0.102
10.842
0.500
0.835
V4
0.990
0.110
9.031
0.446
0.582
V5
1.082
0.083
13.114
0.488
0.708
V6
1.000
0.000
0.000
0.535
0.827
V7
1.024
0.039
26.569
0.548
0.814
V8
0.873
0.062
14.037
0.467
0.766
V9
1.108
0.059
18.756
0.593
0.838
V10
1.045
0.071
14.813
0.559
0.622
F1
StdYX
BY
F2
F3
Std
BY
BY
V11
1.000
0.000
0.000
0.604
0.785
V12
0.715
0.066
10.877
0.432
0.658
V13
0.648
0.084
7.734
0.392
0.502
V14
0.742
0.091
8.174
0.448
0.758
V15
0.966
0.076
12.759
0.584
0.831
V16
1.000
0.000
0.000
0.434
0.785
V17
1.164
0.107
10.881
0.505
0.722
V18
1.310
0.083
15.792
0.568
0.827
V19
1.359
0.099
13.746
0.589
0.811
V20
0.714
0.037
19.520
0.310
0.574
V21
1.339
0.077
17.391
0.580
0.714
V22
1.000
0.000
0.000
0.581
0.806
V23
1.183
0.088
13.379
0.687
0.920
V24
1.162
0.087
13.392
0.675
0.912
V25
0.854
0.070
12.250
0.497
0.683
V26
0.951
0.080
11.903
0.553
0.620
0.204
0.027
7.437
0.845
0.845
F1
0.221
0.041
5.335
0.811
0.811
F2
0.302
0.046
6.577
0.934
0.934
F1
0.147
0.026
5.741
0.751
0.751
F2
0.202
0.020
10.215
0.870
0.870
F3
0.247
0.032
7.715
0.942
0.942
F1
0.066
0.026
2.496
0.253
0.253
F2
0.094
0.023
4.025
0.302
0.302
F3
0.118
0.032
3.748
0.337
0.337
F4
0.094
0.021
4.532
0.371
0.371
F4
BY
F5
BY
F2
WITH
F1
F3
WITH
F4
WITH
F5
WITH
MODEL MODIFICATION INDICES
Minimum M.I. value for printing the modification index
M.I.
E.P.C.
Std E.P.C.
10.000
StdYX E.P.C.
Deze items hadden een significante lading op een verkeerde factor.
Merk
op
dat
geen
geen
enkel
item
een
lading
had
op
factor
(tevredenheid over het leven).
BY Statements
F1
BY V13
17.655
-0.887
-0.399
-0.512
F2
BY V4
15.180
0.727
0.389
0.508
F2
BY V5
12.477
0.535
0.287
0.416
F2
BY V13
11.725
-1.296
-0.694
-0.889
F2
BY V20
11.038
-0.515
-0.276
-0.510
F3
BY V2
15.836
-0.355
-0.215
-0.348
F3
BY V4
14.642
0.555
0.336
0.438
F3
BY V5
22.701
0.560
0.338
0.492
F3
BY V6
17.988
-0.939
-0.567
-0.877
F3
BY V20
11.592
-0.843
-0.510
-0.944
F4
BY V5
22.761
0.671
0.291
0.422
F4
BY V6
11.721
-0.635
-0.275
-0.425
WITH Statements
V2
WITH V1
22.751
0.044
0.044
0.132
V5
WITH V2
10.502
-0.040
-0.040
-0.093
V5
WITH V4
26.778
0.112
0.112
0.212
V7
WITH V6
17.850
0.050
0.050
0.116
V11
WITH V5
24.310
0.083
0.083
0.157
V13
WITH V2
12.442
-0.052
-0.052
-0.108
V15
WITH V14
10.138
0.040
0.040
0.096
V16
WITH V12
22.073
0.058
0.058
0.160
V17
WITH V12
15.277
0.067
0.067
0.145
V17
WITH V15
16.469
-0.058
-0.058
-0.119
V18
WITH V11
16.960
0.059
0.059
0.112
V19
WITH V12
20.008
-0.070
-0.070
-0.146
V19
WITH V16
30.898
-0.066
-0.066
-0.164
V26
WITH V25
17.304
0.109
0.109
0.168
f5