Model van Vugt et al.

Externe validatie van klinische
predictiemodellen voor pneumonie in
eerstelijns patiënten met acute hoest
Een individuele patiënten data meta-analyse
Alwin Schierenberg, Arts-onderzoeker
Julius Centrum, UMC Utrecht
Achtergrond Pneumonie
• Aanzienlijke bijdrage in mortaliteit in ontwikkelde
landen [1,2]
• Gerichte behandeling [3]
• Onderscheid met andere lagere luchtweg infecties
(LLWI) is lastig (in de eerste lijn)
• Thoraxfoto is niet wenselijk/mogelijk bij alle
patiënten
Shutterstock.com
Achtergrond Pneumonie [2]
• Huisarts diagnosticeert pneumonie op basis van
klinische presentatie
?
Rationale
• Verschillende klinische predictie modellen
gepubliceerd voor pneumonie
• Terugdringen antibiotica gebruik en resistentie [4–8]
• Overzicht ontbreekt
• Nieuwere modellen niet gevalideerd;
• Essentieel alvorens implementatie in praktijk:
• Kwantificeren (over)optimisme van model [16]
• Evalueren kwaliteit ontwikkelingsstudie model
• Prestatie model in andere (maar vergelijkbare) patiënten
[10,13,17]
Doel
• Evaluatie statistische robuustheid
• Alle op symptomen gebaseerde predictie
modellen (“klinische modellen”)
• Voor diagnose pneumonie
• In externe databronnen
• Met gemengde eerstelijns patiënten populatie
Welk model is het meest geschikt
voor de eerste lijn ?
Methoden
1. Systematische zoekopdracht
2. Database samenstellen
3. Externe validatie
Methoden
1. Systematische zoekopdracht
• Eerstelijns patiënten met acute hoest
• Diagnostiek naar pneumonie (e.g. thoraxfoto)
Methoden – Zoekopdracht
• PubMed, EMBASE, Cochrane:
1. Alle klinische predictie modellen voor eerste lijn
2. Zo veel mogelijk geschikte individuele patiënten data
(IPD)
3
4
2
5
2
1
6
3
6
•
1
1
1
3
2
1
2
1
1
1
1
1
5
Hopstaken et
al.
van Vugt et al.
Singal et al.
6
Heckerling et
al.
Melbye et al.
Diehr et al.
Total predictors in model
History
Absence of asthma
Duration of illness
Symptoms
Chest pain
Coryza (absence)
Cough (dry)
Diarrhea
Dyspnea
Fever
Myalgia
Phlegm
Sore throat
Sweats (night)
Signs
Crackles
Diminished breath sounds
Fever
Tachycardia
Tachypnea
Total
• Zes predictiemodellen
[19,20,30–33]
• 3-6 predictoren per model
• Variatie in geïncludeerde
predictoren
Model
Methoden – Modellen
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
Methoden – Individuele Patiënten
Data (IPD)
• IPD van acht gepubliceerde studies (N=5308)
[18,20,31,32,34–37]
• Verschillende settings
• Variatie in inclusiecriteria
• Diagnose pneumonie dmv. thoraxfoto
Setting
Aantal of patiënten
Pneumonie
Melbye et
al.
HAP
402
5%
Hopstaken Flanders et al. Graffelman
et al.
et al.
HA
SEH
HA
243
168
129
13%
12%
20%
Holm et al. Rainer et al.
HA
364
13%
SEH
561
43%
Steurer et
al.
HA, SEH
621
21%
van Vugt et Alle datasets
al.
HA
2820
5308
5%
12%
Methoden
• Systematische zoekopdracht
• Database samenstellen
• Externe validatie
Methoden – Database
• Identificatie niet gemeten predictoren
• Geen imputatie
• Dus: validatie van elk model in elke dataset niet
mogelijk!
Van Vugt et al.
Hopstaken et al.
Steurer et al.
Melbye et al.
Rainer et al.
Singal et al.
Holm et al.
Diehr et al.
Graffelman et al.
Heckerling et al.
Flanders et al.
Van Vugt et al.
Hopstaken et al.
Model
Melbye et al.
Validation dataset
+
+
+
D
-
+
+
+
D
+
+
+
+
+
+
+
+
+
+
+
+
-
+
+
+
-
D
+
+
+
Aantal
“validaties”
3
4
3
7
3
4
Methoden – Database
• Identificatie missende waarden
• Enkelvoudig imputatie (SI) op dataset niveau
• Predictoren of uitkomst voorspellen o.b.v. aanwezige
data
• Voorkomt bias
Methoden
• Systematische zoekopdracht
• Database samenstellen
• Externe validatie
1. Discriminatie
2. Kalibratie
Methoden – Externe validatie
• Discriminatie
• Vermogen tot het differentiëren van een model
tussen zieke en niet zieke patiënten
• Gepoolde “Area Under the ROC Curve” (AUC)
• Gewogen gemiddelde van AUCs per model
https://shocktalkvenue.wordpress.com/
2+11/+4/23/why-discrimination-is-good/
• Delta AUC
• Verschil in AUC tov. het gemiddelde van alle AUCs één de dataset
Sensitiviteit (%)
Perfecte discriminatie
1- Specificiteit (%)
Goede discriminatie
“Coin flip”
Resultaten – Discriminatie [1]
Gepoolde AUC
Melbye et al.
Hopstaken et al.
Flanders et al.
Graffelman et al.
Holm et al.
Rainer et al.
Steurer et al.
Van Vugt et al.
Validation dataset
Van Vugt et al.
0.78
-
0.89
0.60
-
-
-
D
0.79 (0.74-0.85)
Heckerling et al.
0.69
-
0.89
0.62
-
-
-
0.66
0.72 (0.68-0.76)
Diehr et al.
-
0.57
0.76
-
-
0.64
-
-
0.65 (0.61-0.68)
Singal et al.
0.68
0.62
0.81
0.63
0.62
-
0.61
0.64
0.64 (0.61-0.67)
Melbye et al.
D
0.57
0.62
0.49
-
-
-
-
0.56 (0.49-0.63)
Hopstaken et al.
-
D
0.58
0.61
-
0.52
-
0.56
0.53 (0.50-0.56)
Model
Pooled AUC (95% CI)†
Resultaten – Discriminatie [2]
Delta AUC
Methoden – Externe validatie
• Kalibratie
• Overeenkomst tussen voorspelde kans
en de aanwezigheid van pneumonie
• Kalibratie plots
• 3 risicogroepen, kans pneumonie:
• <10%
• 10-30%
• >30 %
Test card Philips PM5544
Resultaten – Kalibratie
• Twee modellen “acceptabele” kalibratie
Model Singal et al.
Model van Vugt et al.
100%
100%
Geobserveerde Kans
Optimal
calibration
80%
80%
10%
60%
60%
40%
40%
20%
20%
30%
0%
0%
0%
20%
40%
60%
80%
100%
0%
20%
40%
60%
80%
Voorspelde Kans
• Extreme kansen problematisch
• Overige modellen “slechte” kalibratie
100%
Discussie
• Geen validatie mogelijk in alle IPD door
ontbrekende predictoren
• Geen volledige head-to-head vergelijking
• Heterogeniteit in IPD-studies
• Setting
• Inclusie criteria
• Thoraxfoto geen gouden standaard
Conclusie
• Predictie modellen kunnen helpen discrimineren tussen
patiënten met en zonder pneumonie
• Echter: toewijzen extreme kansen lastig
• Klinische model door van Vugt et al. beste discriminatie,
en aanvaardbare kalibratie in de IPD van verschillende
studie populaties
• Dit model met de predictoren rhinorroe, benauwdheid,
crepitaties, verm. ademgeruis, koorts en tachycardie is de
voornaamste kandidaat voor gebruik in de eerste lijn
Met dank aan:
Begeleiders:
Joris AH de Groot1
Margaretha C Minnaard
Alma C van de Pol1
Berna DL Broekhuizen1
Niek J de Wit1
Johannes B Reitsma1
Theo JM Verheij1
Co-auteurs:
Rogier M Hopstaken2
Saskia F van Vugt1
Arie Knuistingh Neven3
Aleida W Graffelman3
Hasse Melbye4
Timothy H Rainer5
Johann Steurer6
Anette Holm7
Ralph Gonzales8
Geert-Jan Dinant9
Ondersteuning:
Reto Kofmehl
Cangel Chan
Karin Aretz
Susan van Hemert-Glaubitz
Scott Flanders
Judy Maselli
Peter Zuidhof
Bianca Kramer
1. UMC Utrecht, Julius Centrum voor Gezondheidswetenschappen en Eerstelijnsgeneeskunde, Utrecht, Nederland.
2. Saltro Diagnostisch Centrum, Utrecht, Nederland.
3. Leiden UMC, Departement of Public Health and Primary Care, Leiden, the Netherlands.
4. University of Tromsø, Department of Community Medicine, Tromsø, Norway
5. Chinese University of Hong Kong, Hong Kong, China.
6. Universeit Zurich, Horten Centre for Patient Oriented Research and Knowledge Transfer, Zurich, Zwitserland.
7. Odense University Hospital, Department of Infectious Diseases, Odense, Denemarken
8. University of California, San Francisco, United States of America
9. Departement of General Practice, CAPHRI School for Public Health and Primary Care, Maastricht University Medical Centre,
Maastricht, The Netherlands.
Referenties
1.
2.
3.
4.
5.
6.
7.
8.
10.
13.
16.
17.
18.
Mortensen EM, Coley CM, Singer DE, Marrie TJ, Obrosky DS, et al. (2002) Causes of
death for patients with community-acquired pneumonia: results from the Pneumonia 19.
Patient Outcomes Research Team cohort study. Arch Intern Med 162: 1059–1064.
Niederman MS, Mandell LA, Anzueto A, Bass JB, Broughton WA, et al. (2001)
Guidelines for the management of adults with community-acquired pneumonia.
Diagnosis, assessment of severity, antimicrobial therapy, and prevention. Am J Respir 20.
Crit Care Med 163: 1730–1754.
Smucny J, Fahey T, Becker L, Glazier R (2004) Antibiotics for acute bronchitis.
Cochrane Database Syst Rev: CD000245.
30.
Bradley JS, Guidos R, Baragona S, Bartlett JG, Rubinstein E, et al. (2007) Anti-infective
research and development--problems, challenges, and solutions. Lancet Infect Dis 7:
68–78.
Tacconelli E, De Angelis G (2010) Fighting antibiotic resistance all over Europe. Expert 31.
Rev Anti Infect Ther 8: 761–763.
Cals JWL, de Bock L, Beckers P-JHW, Francis NA, Hopstaken RM, et al. (n.d.) Enhanced
communication skills and C-reactive protein point-of-care testing for respiratory tract
infection: 3.5-year follow-up of a cluster randomized trial. Ann Fam Med 11: 157–164. 32.
Cals JWL, Butler CC, Hopstaken RM, Hood K, Dinant G-J (2009) Effect of point of care
testing for C reactive protein and training in communication skills on antibiotic use in 33.
lower respiratory tract infections: cluster randomised trial. BMJ 338: b1374.
Steyerberg EW, Moons KGM, van der Windt DA, Hayden JA, Perel P, et al. (2013)
34.
Prognosis Research Strategy (PROGRESS) 3: prognostic model research. PLoS Med 10:
e1001381.
Altman DG, Royston P (2000) What do we mean by validating a prognostic model?
35.
Stat Med 19: 453–473.
Collins GS, de Groot JA, Dutton S, Omar O, Shanyinde M, et al. (2014) External
validation of multivariable prediction models: a systematic review of methodological 36.
conduct and reporting. BMC Med Res Methodol 14: 40.
Bleeker SE, Moll HA, Steyerberg EW, Donders ART, Derksen-Lubsen G, et al. (2003)
External validation is necessary in prediction research:: A clinical example. J Clin
37.
Epidemiol 56: 826–832.
Graffelman AW, le Cessie S, Neven AK, Willemssen FEJA, Zonderland HM, et al. (2007)
Can history and exam alone reliably predict pneumonia? J Fam Pract 56: 465–470.
Heckerling PS, Tape TG, Wigton RS, Hissong KK, Leikin JB, et al. (1990) Clinical
prediction rule for pulmonary infiltrates. Ann Intern Med 113: 664–670.
Van Vugt SF, Broekhuizen BDL, Lammens C, Zuithoff NPA, de Jong PA, et al. (2013) Use
of serum C reactive protein and procalcitonin concentrations in addition to symptoms
and signs to predict pneumonia in patients presenting to primary care with acute
cough: diagnostic study. BMJ 346: f2450–f2450.
Woodhead M, Blasi F, Ewig S, Garau J, Huchon G, et al. (2011) Guidelines for the
management of adult lower respiratory tract infections - Full version. Clin Microbiol
Infect 17: E1–E59.
Hopstaken RM, Muris JW, Knottnerus JA, Kester AD, Rinkens PE, et al. (2003)
Contributions of symptoms, signs, erythrocyte sedimentation rate, and C-reactive
protein to a diagnosis of pneumonia in acute lower respiratory tract infection. Br J
Gen Pr 53: 358–364.
Melbye H, Straume B, Aasebø U, Dale K (1992) Diagnosis of pneumonia in adults in
general practice. Relative importance of typical symptoms and abnormal chest signs
evaluated against a radiographic reference standard. Scand J Prim Health Care 10:
226–233
Singal BM, Hedges JR, Radack KL (1989) Decision rules and clinical prediction of
pneumonia: evaluation of low-yield criteria. Ann Emerg Med 18: 13–20.
Rainer TH, Chan CP, Leung MF, Leung W, Ip M, et al. (2009) Diagnostic utility of CRP to
neopterin ratio in patients with acute respiratory tract infections. J Infect 58: 123–130.
Steurer J, Held U, Spaar A, Bausch B, Zoller M, et al. (2011) A decision aid to rule out
pneumonia and reduce unnecessary prescriptions of antibiotics in primary care
patients with cough and fever. BMC Med 9: 56. doi:10.1186/1741-7015-9-56.
Holm A, Nexoe J, Bistrup LA, Pedersen SS, Obel N, et al. (2007) Aetiology and
prediction of pneumonia in lower respiratory tract infection in primary care. Br J Gen
Pract 57: 547–554.
Flanders SA, Stein J, Shochat G, Sellers K, Holland M, et al. (2004) Performance of a
bedside C-reactive protein test in the diagnosis of community-acquired pneumonia in
adults with acute cough. Am J Med 116: 529–535.
De Groot JAH, Dendukuri N, Janssen KJM, Reitsma JB, Bossuyt PMM, et al. (2011)
Adjusting for Differential-verification Bias in Diagnostic-accuracy Studies: A Bayesian
Approach. Epidemiol March 2011 22: 234–241.