Het effect van de klachtkans op een behandelbeslissing Een

Oorspronkelijke bijdragen
A.M.F.P. Verweij, M.W. van der Wel, P.A. Mileman,
J. den Dekker, W.B. van den Hout
Het effect van de klachtkans op een
behandelbeslissing
Een exploratief onderzoek onder
vierdejaarsstudenten tandheelkunde
De perceptie van de ernst van een fout-positieve of fout-negatieve diagnose zou de behandelbeslissing van cariës kunnen
beïnvloeden. Om dit te onderzoeken is als maat voor de ernst van de gevolgen van een foute behandelbeslissing de kans op een
klacht bij een tuchtcollege gebruikt. Met behulp van een computerprogramma over röntgendiagnostiek en door middel van een
schriftelijk vragenformulier aan een groep vierdejaarsstudenten tandheelkunde werd onderzocht of de nauwkeurigheid van hun
behandelbeslissing omtrent cariës afhankelijk was van hun beoordeling van de kans op een klacht. Dit bleek nauwelijks het geval
te zijn. Wel bleek dat de studenten de kans op een klacht door een foute behandelbeslissing omtrent cariës ruim overschatten.
Verweij AMFP, Wel MW van der, Mileman PA, Dekker J den, Hout WB van den. Het effect van de klachtkans op een behandelbeslissing. Een exploratief onderzoek onder vierdejaarsstudenten tandheelkunde
Ned Tijdschr Tandheelkd 2009; 116: 125-129
Inleiding
In Nederland werden in 2007 bij tuchtcolleges 1.441 klachten ingediend tegen zorgverleners, waaronder tandartsen.
Dit aantal is een toename van 26,6% ten opzichte van 2003,
toen 1.138 klachten binnenkwamen (Tuchtcolleges voor
de Gezondheidszorg, 2008). Fouten in de geneeskunde en
de juridische gevolgen daarvan zijn in het verleden in de
Verenigde Staten van Amerika onderwerp geweest van verschillende onderzoeken (Berlin, 2005). Daarbij bleek dat
een behandelbeslissing van een zorgverlener kan worden
beïnvloed door de mate van diens angst voor de juridische
gevolgen voor een bepaalde gemaakte fout en door de perceptie van de kans dat deze juridische gevolgen zullen optreden (Poses et al, 1998). Deze bevindingen gelden mogelijk
ook voor tandartsen. Een onderzoek naar de reproduceerbaarheid van behandelbeslissingen over cariës liet een
aanzienlijke variatie zien (Eijkman et al, 2002). Op de nauwkeurigheid waarmee tandartsen bitewing-röntgenopnamen
beoordelen, kunnen verschillende factoren invloed hebben
(Poorterman et al, 1997).
Het niet juist beoordelen van bitewing-röntgenopnamen
kan tot gevolg hebben dat een dentinelaesie niet wordt gerestaureerd of dat een stabiele cariëslaesie of een gaaf gebitsvlak onnodig wordt gerestaureerd. Een patiënt kan voor een
dergelijke fout een klacht indienen bij een tuchtcollege of de
Ned Tijdschr Tandheelkd 116 maart 2009
inspectie voor de gezondheidszorg inlichten. Voor de desbetreffende tandarts kan dit juridische gevolgen hebben. De
perceptie van de kans dat een fout in de röntgendiagnostiek
en de daaruit voortvloeiende onjuiste behandeling of juist
het achterwege blijven van behandeling een klacht tot gevolg
kan hebben, kan per tandarts verschillen. Dit zou tot uiting
kunnen komen in de behandelbeslissingen van tandartsen.
Het doel van het onderzoek was na te gaan of vierdejaarsstudenten tandheelkunde die de klachtkans door een fout in
de diagnostiek met behulp van bitewing-röntgenopnamen
als groot beoordelen, minder onjuiste behandelbeslissingen
nemen dan vierdejaarsstudenten tandheelkunde die deze
kans als klein beoordelen.
2
Materiaal en methode
Bij het beoordelen van een bitewing-röntgenopname kunnen 2 soorten fouten worden gemaakt: een proximale carieslaesie kan over het hoofd worden gezien (fout-negatief,
FN) of een gaaf gebitsvlak kan ten onrecht als carieus
worden beoordeeld (fout-positief, FP). Om de klachtkans
tegen een tandarts vanwege een foute behandelbeslissing
te kunnen berekenen, was informatie nodig over het aantal
ingediende klachten. Hiervoor werden gegevens gebruikt
van de jaarverslagen3over de periode 2001-2004 van de
Nederlandse Maatschappij tot bevordering der Tandheel-
125
Oorspronkelijke bijdragen
2001
2002
2003
2004
NMT
ANT
Amsterdam
Den Haag
Eindhoven
Groningen
Zwolle
230
43
16
10
4
2
14
214
25
16
17
12
3
7
197
56
13
13
9
1
6
197
93
38
21
20
2
2
Totaal
319
294
295
373
Tabel 1. Aantallen tegen tandartsen ingediende klachten in de
periode 2001-2004 bij de NMT, de ANT en de regionale tuchtcolleges.
kunde (NMT), de Associatie Nederlandse Tandartsen
(ANT) en de regionale tuchtcolleges (tab. 1). Tevens was
informatie nodig over het aantal in Nederland praktiserende
tandartsen in de periode 2001-2004 (Ministerie VWS, 2005)
(tab. 2). Helaas was de aard van de ingediende klachten niet
in de jaarverslagen te achterhalen. Daardoor konden alleen
de maximale klachtkansen door een foute behandelbeslissing met behulp van de gegevens uit de jaarverslagen worden berekend. De uitgevoerde berekeningen wijzen uit dat
de klachtkans door een fout-negatieve of een fout-positieve
behandelbeslissing niet groter kan zijn dan respectievelijk
0,03% en 0,01% (zie appendix en tab. 2). Op grond van deze
berekeningen bestaat bij de auteurs van dit artikel niet de
pretentie dat de uitkomsten een goede weergave zijn van
de werkelijkheid, maar bestaat wel de overtuiging dat een
hogere uitkomst onwaarschijnlijk is.
Daarnaast is bepaald welke perceptie studenten hadden
van de kans op een klacht. Voor dit deel van het onderzoek
zijn alle 245 vierdejaarsstudenten tandheelkunde van het
Academisch Centrum Tandheelkunde Amsterdam (ACTA)
benaderd. Zij vulden op een vragenlijst hun mening in over
de klachtkans door een fout-negatieve en een fout-positieve
behandelbeslissing. Daarna beoordeelden ze met behulp
van het Computer Assisted Learning (CAL)-programma
‘Looking for Caries’ 105 approximale gebitsvlakken op 15
bitewing-röntgenopnamen (afb. 1) (Mileman et al, 2004).
Van elk afgebeeld gebitsvlak werd bepaald of het wel of niet
moest worden gerestaureerd (afb. 2). Het CAL-programma
berekende voor elke student de nauwkeurigheid van de
behandelbeslissing door deze te vergelijken met een gouden
standaard voor het diagnosticeren van approximale cariës
(Mileman en Van den Hout, 2007). De gouden standaard
is opgesteld met behulp van microradiografie, een validatiemethode om de diepte van cariëslaesies te bepalen.
Röntgenbestraling van ultradunne plakjes gebitsweefsel
die worden verdacht van cariës, levert na bewerking in een
computerprogramma de mate van demineralisatie (Gelhard, 1982; Mileman, 1985; De Josselin de Jong, 1986).
De nauwkeurigheid van de behandelbeslissingen van de
studenten werd weergegeven met 3 parameters: sensitiviteit, specificiteit en diagnostische oddsratio. Sensitiviteit
is de verhouding tussen enerzijds het aantal terecht positieve (TP) beslissingen en anderzijds de som van het aantal
terecht positieve en het aantal fout-negatieve beslissingen
(FN): TP/(TP + FN). Specificiteit is de verhouding tussen
enerzijds het aantal terecht negatieve (TN) beslissingen en
anderzijds de som van het aantal terecht negatieve en het
aantal fout-positieve beslissingen (FP): TN/(TN + FP). De
diagnostische oddsratio is de verhouding tussen enerzijds
het product van het aantal terecht positieve (TP) en terecht
negatieve (TN) behandelbeslissingen en anderzijds het product van het aantal fout-positieve (FP) en fout-negatieve
behandelbeslissingen (FN) : (TP x TN)/(FP x FN). De diagnostische oddsratio is een combinatie van de sensitiviteit
en de specificiteit en is daarom een betere parameter voor
de algehele nauwkeurigheid (Mileman en Van den Hout,
2007).
Het effect van klachtkansen op behandelbeslissingen werd
onderzocht door groepen studenten onderling te vergelijken
op basis van hun beoordeling van de klachtkans door een
foute behandelbeslissing. Daarbij werden groepsindelingen
Tabel 2.Berekende maximale klachtkans door een fout-negatieve of fout-positieve behandelbeslissing op basis van bitewing-röntgenopnamen
(voor berekening: zie appendix).
2001
2002
2003
Aantal praktiserende tandartsen
7.509
7.623
7.759
Aantal klachten ( tab. 1)
319
294
295
Aantal fout-negatieve beslissingen
916.000
930.000
947.000
Aantal fout-positieve beslissingen
2.343.000
2.378.000
2.421.000
Berekende maximale kans
door fout-negatieve beslissing†
0,03%
0,03%
0,03%
door fout-positieve beslissing‡
0,01%
0,01%
0,01%
† Op aanname dat elke klacht werd ingediend vanwege een fout-negatieve behandelbeslissing
‡ Op aanname dat elke klacht werd ingediend vanwege een fout-positieve behandelbeslissing
126
Ned Tijdschr Tandheelkd 116 maart 2009
2004
Gemiddeld
7.950
373
970.0009
2.480.000
7.710
320
41.000
2.406.000
0,04%
0,01%
0,03%
0,01%
Verweij e.a.: Effect klachtkans op behandelbeslissing
100
Aantal studenten
80
60
40
20
Afb. 1. Vierdejaarsstudenten tandheelkunde beoordelen bitewingröntgenopnamen met behulp van het Computer Assisted Learning
(CAL)-programma ‘Looking for Caries…?’
0
0
gemaakt op basis van verschillende criteria. Eerst werden 2
subgroepen gevormd door de geschatte klachtkansen van de
studenten te vergelijken met de berekende maximale klachtkansen (zie appendix). De subgroepen waren studenten die
de klachtkans door een fout-negatieve behandelbeslissing
als gelijk aan of kleiner beoordeelden dan 0,03% (n = 24)
en studenten die deze kans groter beoordeelden dan 0,03%
(n = 221). De tweede indeling betrof subgroepen die de
klachtkans door een fout-positieve behandelbeslissing als
gelijk aan of kleiner beoordeelden dan 0,01% (n = 28) en
groter dan 0,01% (n = 217). De grootte van de subgroepen
van deze eerste 2 groepsindelingen was sterk onevenwichtig
doordat een duidelijke meerderheid van de studenten de
klachtkansen als te groot beoordeelde. Daarom werden in
de plaats van de eerste en tweede groepsindeling een derde
en vierde groepsindeling gemaakt, waarbij de grenswaarden
niet meer werden bepaald op basis van de berekende maximale kansen, maar op basis van de grenswaarde van 2%.
Met deze hogere grenswaarde werden naar grootte meer
evenwichtige subgroepen verkregen voor zowel de derde (n
= 98 versus n = 147) als de vierde groepsindeling (n = 100
versus n = 146). De vijfde groepsindeling was tussen subgroepen die de klachtkans door een fout-negatieve behandelbeslissing als groter beoordeelden dan de klachtkans
door een fout-positieve behandelbeslissing (n = 76) en de
overige studenten (n = 168). Voor elke van deze 5 groepsindelingen werd telkens de gemiddelde nauwkeurigheid van
de behandelbeslissingen tussen de subgroepen statistisch
vergeleken. Dit gebeurde met standaard t-toetsen van het
Statistical Package for the Social Sciences (SPSS) met een
significantieniveau van 0,05.
3
6
9
12
kans op klacht door omissie in % / kans op een
klacht door overbehandeling in %
15
Afb. 2. Overzicht van de mogelijke uitkomsten wanneer
bitewing-röntgenopnamen worden beoordeeld ten behoeve van
behandelbeslissingen.
derheid (88%) beoordeelde daarmee de klachtkansen groter
dan de berekende maximale klachtkansen van respectievelijk 0,03 en 0,01% (appendix). De gemiddelde waarde van
de verhouding tussen de kans op een klacht door een foutnegatieve en de kans op een klacht door een fout-positieve
behandelbeslissing (klacht door FN/ klacht door FP) was
2,66 (sd = 13,37; mediaan = 1,0). Bij 88 studenten (36%)
was deze verhouding kleiner dan 1. Bij 80 studenten (33%)
was de verhouding 1. De overige 76 studenten (31%) scoorden een verhouding groter dan 1 (afb. 3).
Studenten die de klachtkans als groot beoordeelden,
namen niet vaker de juiste behandelbeslissing dan de studenten die deze kans relatief klein achtten. De gemiddelde
sensitiviteit, specificiteit en diagnostische oddsratio in de
eerste 4 groepsindelingen verschilden niet significant tussen de verschillende subgroepen. Het enige statistisch significante verschil betrof de diagnostische oddsratio in de
tweede groepsindeling. Deze was significant gunstiger in de
subgroep die de klachtkans door een fout-positieve beslissing als groter beoordeelde dan 2%.
Ook de vergelijking van de subgroep die de klachtkans
door een fout-negatieve behandelbeslissing als groter beoordeelde dan de klachtkans door een fout-positieve behandelbeslissing met de subgroep van de overige studenten (de
vijfde groepsindeling) bleek geen statistisch significant verschil op te leveren.
Resultaten
De studenten beoordeelden de klachtkans door een foutnegatieve behandelbeslissing gemiddeld als 11,2% (sd =
17,9; mediaan = 5,0) en door een fout-positieve behandelbeslissing gemiddeld als 14,4% (sd = 22,7; mediaan = 5). Er
was een positieve correlatie tussen de beoordeling van deze 2
soorten klachtkansen (r = 0,53; p < 0,001). Een ruime meer-
Ned Tijdschr Tandheelkd 116 maart 2009
Discussie
Onder de in dit onderzoek betrokken vierdejaarsstudenten
tandheelkunde leek de beoordeling van de klachtkans door
een foute behandelbeslissing nauwelijks een factor te zijn
die een behandelbeslissing zou beïnvloeden. Wel valt op dat
de meerderheid van de studenten de werkelijke klachtkans
127
Oorspronkelijke bijdragen
Te restaureren
volgens gouden
standaard
Niet te restaureren
volgens gouden
standaard
Restaureren
volgens behandelbeslissing
Terecht positief
(TP)
Fout-positief
(FP)
Niet restaureren
volgens behandelbeslissing
Fout-negatief
(FN)
Terecht negatief
(TN)
Totaal aantal te
restaureren
gebitsvlakken
volgens gouden
standaard
Totaal aantal niet
te restaureren
gebitsvlakken
volgens gouden
standaard
Afb. 3. De verhouding tussen de
klachtkans door een fout-negatieve en
een fout-positieve behandelbeslissing.
door een foute behandelbeslissing overschatte.
Amerikaanse en Engelse medische specialisten beoordeelden de klachtkans door een fout-negatieve behandelbeslissing als groter dan de klachtkans door een fout-positieve
behandelbeslissing (Poses et al, 1998). De Engelse specialisten beoordeelden de verhouding van de kansen op deze 2
soorten klachten (klacht door FN/ klacht door FP) als 3 en
de Amerikanen als 1,5. In het hier beschreven onderzoek was
deze verhouding 2,6. De studenten waren echter verdeeld in
hun beoordeling van welke fout het meest waarschijnlijk tot
een klacht zou leiden. De overweging hierbij is wellicht dat
een fout-negatieve beslissing in de geneeskunde ernstigere
consequenties kan hebben dan een dergelijke fout in de cariesdiagnostiek, terwijl een fout-positieve behandelbeslissing
sneller aanleiding tot een klacht in de geneeskunde zou kunnen geven. Nederlandse tandartsen leken een fout-positieve
behandelbeslissing ernstiger te vinden (Mileman en Van der
Hout, 2002; Mileman en Van der Hout, 2008).
In het onderwijs aan studenten tandheelkunde zou een
punt van aandacht kunnen zijn dat studenten een realistischer verwachtingspatroon over de kwaliteit van de diagnostiek in de zorgverlening leren ontwikkelen (Berlin, 2005).
Tuchtcolleges zouden een bijdrage kunnen leveren door een
transparante registratie van klachten bij te houden over de
geldende professionele standaard voor mondzorg in het
algemeen en voor röntgendiagnostiek in het bijzonder.
Totaal aantal te
restaureren gebitsvlakken volgens behandelbeslissingen
Totaal aantal niet te restaureren
gebitsvlakken volgens behandelbeslissingen
> Kalsbeek H, Poorterman JHG, Kivit MM. Tandheelkundige verzorging volwassen ziekenfondsverzekerden 1995-2002. Mondgezondheid,
tandartsbezoek en preventief gedrag na de stelselherziening van 1995.
Leiden: TNO Preventie en Gezondheid, 2003.
> Mileman PA, Weele LT van der. Accuracy in radiographic diagnosis:
Dutch practitioners and dental caries. J Dent 1990; 18: 130-136.
> Mileman PA, Hout WB van den. Comparing the accuracy of Dutch
dentists and dental students in the radiographic diagnosis of dentinal
caries. Dentomaxillofac Radiol 2002; 31: 7-14.
> Mileman PA, Hout WB van den, Sanderink GCH. Looking for caries…?
Teachers evaluate a program to improve caries diagnosis from radiographs. Eur J Dent Educ 2004; 8: 35-42.
> Mileman PA. Radiographic caries diagnosis and restorative treatment
decision making. Groningen: Rijksuniversiteit Groningen, 1985. Academisch proefschrift.
> Mileman PA, Hout WB van den. Evidence-based diagnostiek en klinische besluitvorming. Ned Tijdschr Tandheelkd 2007; 114: 187-194.
> Mileman PA, Hout WB van den. An evaluation by teachers of a decision
aid for viewing bitewing radiographs. Dentomaxillofac Radiol 2009;
38: geaccepteerd.
> Ministerie van Volksgezondheid, Welzijn en Sport. Brancherapport van
het ministerie van Volksgezondheid, Welzijn en Sport. Versie 2.1. Den
Haag: Ministerie VWS, 2005. http://www.brancherapporten.minvws.
nl/object_class/br_cure_mond.html (Accessed 03-04-2008).
> Poorterman JHG, Verheij JG, Kieft JA, Eijkman MAJ. Variatie onder
tandartsen bij beoordeling van cariës en restauraties. Ned Tijdschr
Tandheelkd 1997; 104: 214-218.
> Poses RM, De Saintonge DM, McClish DK, et al. An international com-
Literatuur
> Aken J van. Het verbruik van intra-orale röntgenfilms in de periode
parison of physicians' judgements of outcome rates of cardiac procedures and attitudes toward risk, uncertainty, justifiability, and regret.
1958-1988. Ned Tijdschr Tandheelkd 1991; 98: 362-364.
> Berlin L. Errors of omission. Am J Roentgenol 2005; 185: 1416-1421.
> Commissie Tandheelkundige Statistiek. Statistisch overzicht van de behandelgegevens door tandartsen-algemeen practici en regionale instel-
Med Decis Making 1998; 18: 131-140.
> Tuchtcolleges voor de Gezondheidszorg. Jaarverslag Tuchtcolleges voor de
Gezondheidszorg, 2007. Den Haag: Centraal Tuchtcollege, 2008.
lingen voor jeugdtandverzorging aan ziekenfondsverzekerden 1988.
Zeist: Commissie Tandheelkundige Statistiek, 1989.
> Gelhard TBFM. Remineralization of human enamel in vivo. Groningen: Rijksuniversiteit Groningen, 1982. Academisch proefschrift.
> De Josselin de Jong E. Comparison of methods in caries research. Groningen: Rijksuniversiteit Groningen, 1986. Academisch proefschrift.
> Eijkman MAJ, Kieft JA, Poorterman JHG. Verschillen in de beoordeling
van restauratieve zorg. Ned Tijdschr Tandheelkd 2002; 109: 355-357.
128
Ned Tijdschr Tandheelkd 116 maart 2009
Verweij e.a.: Effect klachtkans op behandelbeslissing
Appendix
Summary
The effect of the risk of a complaint on treatment
decision making. An explorative investigation in
fourth-year dental students
The perception of the seriousness of a false-negative or false-positive
diagnosis could influence treatment decision making for carious
lesions. In order to investigate this hypothesis, the perceived risk of
a complaint at a disciplinary tribunal was used as an indicator of the
seriousness of the consequences of treatment decision errors. Using
a computer programme for caries diagnosis on radiographs and by
means of a questionnaire, was investigated in a group of fourth-year
dental students whether their accuracy of treatment decision making
for carious lesions was dependent on the perception of the risk of a
complaint at a disciplinary tribunal. The perception of the likelihood
of complaints does not seem to play a significant role in the accuracy
of decision making. However, the students demonstrated unrealistical high risk perceptions of a complaint at a disciplinary tribunal
following a treatment decision making error by a false diagnosis of a
carious lesion on a bitewing radiograph.
Bron
A.M.F.P Verweij1, M.W. van der Wel1, P.A. Mileman1, J. den Dekker2,
W.B. van den Hout3
Uit 1de afdeling Tandheelkundige Radiologie, 2de afdeling Sociale
Tandheelkunde van het Academische Centrum voor Tandheelkunde
Amsterdam (ACTA) en 3de themagroep Medische Besliskunde van het
Leids Universitair Medisch Centrum
Datum van acceptatie: 18 juni 2008
Adres: dr. P.A. Mileman, ACTA, Louwesweg 1, 1066 EA Amsterdam
[email protected]
Ned Tijdschr Tandheelkd 116 maart 2009
Wijze van berekening van de maximale
klachtkans door een foute behandelbeslissing
De aard van klachten is uit de jaarverslagen van de
tuchtcolleges niet te achterhalen. Daardoor zijn ook
geen betrouwbare schattingen te geven voor de kans dat
een fout-negatieve en fout-positieve behandelbeslissing
tot een klacht leiden. Wel is, uitgaande van een aantal
aannamen, de maximale klachtkans te berekenen. Deze
berekende klachtkans is dus bewust groter dan de echte
klachtkans. Uitgaande van de aannamen is de klachtkans
als volgt berekend.
Enige tijd geleden maakte een tandarts jaarlijks gemiddeld
1.000 röntgenfoto’s, waarvan 750 bitewing-röntgenopnamen waren (Van Aken, 1991; Commissie Tandheelkundige
Statistiek, 1989). Op een bitewing-röntgenopname waren
gemiddeld 14,2 approximale vlakken zichtbaar (Kalsbeek et
al, 2003). Een tandarts beoordeelde dus per jaar gemiddeld
750 x 14,2 = 10.650 approximale vlakken op bitewingröntgenopnamen. De kans op het op een bitewing-röntgenopname diagnosticeren van een cariëslaesie tot in het
dentine uitgaande van een approximaal vlak werd in 2002
geschat op 2,5% (Kalsbeek et al, 2003). Dit betekent dat
van de beoordeelde 10.650 approximale vlakken er 266
(0,025 x 10650) carieus tot in het dentine zijn, terwijl
10.384 dit niet zijn. De sensitiviteit en de specificiteit
van de Nederlandse tandartsen bij het diagnosticeren van
cariëslaesies op bitewing-röntgenopnamen zijn geschat op
respectievelijk 54% en 97% (Mileman en Van der Weele,
1990). Het berekende jaarlijkse gemiddelde aantal foutnegatieve behandelbeslissingen per tandarts komt daarmee
op 122 (46% x 266) en het jaarlijkse gemiddelde aantal
fout-positieve behandelbeslissingen op 312 (3% x 10.384).
In totaal werden dus door de tandartsen in Nederland in
de periode 2001-2004 per jaar gemiddeld 941.000 (7.710
x 122) fout-negatieve en 2.406.000 (7.710 x 312) foutpositieve behandelbeslissingen genomen. Als elke klacht in
deze periode een fout-negatieve behandelbeslissing betrof,
zou de klachtkans door een fout-negatieve behandelbeslissing 0,03% zijn (320/941.000). Als elke klacht in deze
periode een fout-positieve behandelbeslissing betrof, zou
de klachtkans door een fout-positieve behandelbeslissing
0,01% zijn (320/2.406.000) (tab. 2).
129