Door statistici veroordeeld

Door statistici veroordeeld?
Aart F. de Vos
Lucy de B is tot levenslang veroordeeld. Statistische argumenten speelden hierbij een rol,
zij het dat de invloed hiervan in de media overschat is. Er stierven veel mensen rond de
tijdstippen dat zij dienst had. Toevallig? De geraadpleegde statisticus, Henk Elffers,
herhaalde tijdens het nu dienende hoger beroep zijn eerdere verklaring dat de kans 1 op
de 342 miljoen was. Ik citeer uit het artikel “statistici geloven niet in toeval” uit de
Haagse courant van 30 januari jongsleden: “"De kans dat er negen dodelijke incidenten
plaatshadden in het JKZ in de diensttijd van de verdachte op basis van toeval, is nihil,
(…) het was geen toeval. Wat het wel was, weet ik niet. Daar kan ik als statisticus niets
over zeggen. Het bewijs is up to you". Uit het verdere verslag bleek dat de rechter grote
moeite had met dit antwoord, maar dat men er niet echt uit kwam.
Vele getuigen zijn daarna gehoord die het hebben over omstandigheden,
aannemelijkheden, merkwaardigheden, onwaarschijnlijkheden en onloochenbaar sterke
samenhangen. De rechtbank moet dit alles samenvoegen en tot een wijs eindoordeel
komen. Een zware taak, zeker gegeven het juridisch begrippenapparaat dat wel zeer veel
elementen die met waarschijnlijkheden te maken hebben omvat maar bij het combineren
daarvan de kwantificering en de waarschijnlijkheidsrekening node mist.
De cruciale vraag is natuurlijk: hoe groot is de kans dat Lucy de B moorden heeft
gepleegd? De meeste leken zullen denken dat Elffers die vraag heeft beantwoord, en dat
het dus praktisch gesproken zeker is.
Dit is een misverstand. Elffers heeft die vraag niet beantwoord. Elffers is een klassiek
statisticus, en klassieke statistici doen geen uitspraken over kansen wat er aan de hand is
maar alleen over hoe onwaarschijnlijk dingen zijn als er niets aan de hand zou zijn. Er is
echter nog een andere tak van statistiek: de Bayesiaanse. Ik behoor tot dat andere kamp.
En ik heb ook zitten rekenen. Met het volgende verbijsterende resultaat:
Als de informatie die Elffers gebruikt heeft om tot zijn 1 op 342 miljoen te komen de
enige informatie zou zijn waarop Lucy de B veroordeeld was, zou er volgens mij
ongeveer 75% kans zijn dat dit ten onrechte geschiedde.
Over dit grote contrast gaat dit artikel. Het is geen aanklacht tegen Elffers, die zich in de
rechtbank uiterst bescheiden opstelde bij de interpretatie van zijn uitkomst en ook geen
pleidooi om Lucy de B vrij te spreken want de rechtbank hanteert voornamelijk andere
argumenten, zij het helaas zonder eenduidige kansuitspraken terwijl er niets met absolute
zekerheid vaststaat.
Bayesiaanse statistiek
Mijn berekeningen zijn dus gebaseerd op de alternatieve statistiek, de Bayesiaanse,
vernoemd naar Thomas Bayes, de eerste die schreef over de ''omgekeerde kansen''. Dat
was in 1763. Echt belangrijk werd zijn vondst pas na 1960, vooral door het werk van
Leonard Savage, die bewees dat je bij beslissen onder onzekerheid niet om de vraag heen
kunt welke kansen de mogelijke toestanden van de waarheid hebben. (in ons geval de
toestanden ''schuldig'' en ''niet schuldig''). Bayes leerde hoe je over dat soort kansen kan
leren uit data. Over de vorm van die berekeningen zijn de geleerden het eens, dat is pure
waarschijnlijkheidsrekening. Er is echter één probleem: je moet bedenken welke kansen
je aan de toestanden zou hebben gegeven voordat je je data gezien had (de prior). En
vaak zijn dat subjectieve kansen. En als je weinig data hebt is de invloed van die
subjectieve kansen op je eindoordeel groot. Een reden voor veel klassieke statistici om
zich tegen deze benadering te verzetten. Zeker in Nederland, waar statistiek vooral
bedreven wordt door wiskundigen, mensen die erin getraind worden vraagstukken op te
lossen zonder zich af te vragen wat ze met de werkelijkheid te maken hebben. Na een
fanatieke strijd over grondslagen van decennia (zie mijn stuk “de godsdienstoorlog der
statistici” op http://staff.feweb.vu.nl/avos/default.htm) zijn de partijen wat nader tot
elkaar gekomen. Met één uitzondering: de klassieke toets. Bayesianen hebben
fundamentele bezwaren tegen klassieke toetsen. En Elffers’ uitspraak heeft de vorm van
een klassieke toets. Hier spitst het grondslagendebat zich dus toe.
Het geval Lucy Klomp
In navolging van Elffers die zijn wijze van berekenen in het Nederlands Juristenblad
heeft toegelicht aan de hand van een fictief geval (dat ik ook heb doorgerekend om tot
totaal verschillende conclusies te komen) wil ik het hebben over het fictieve geval Lucy
Klomp. Lucy Klomp is een verpleegster die 11 sterfgevallen heeft meegemaakt in een
periode waarin gemiddeld slechts “één geval voorkomt, maar waar geen verdere
aanwijzingen tegen zijn te vinden. Elffers zou in de rechtbank ook in dit geval een
extreem kleine kans op toeval rapporteren, 1 op de 100 miljoen ongeveer. Dit is het
geval waarvan ik beweer dat een veroordeling een kans van ongeveer 75% heeft ten
onrechte te zijn.
De berekening hiervan gaat niet met kansen, maar met “odds”, een onvertaalbaar woord,
dat in Nederland niet leeft. Odds van 3 om 7 betekenen een kans van 3/10 dat het wel zo
is en 7/10 dat het niet zo is. Voor een eenvoudige Bayesiaanse berekening heb je twee
elementen nodig. De “prior odds” en de aannemelijkheidsverhouding.
Als de kans op 11 doden 1 op 100 miljoen is wanneer Lucy Klomp onschuldig is, en 1 op
20 wanneer zij schuldig is dan is de aannemelijkheidsverhouding voor onschuldig tegen
schuldig 1 om 5 miljoen. De prior odds komen van de kans dat een willekeurige
verpleegster moorden pleegt. Die schat ik op 1 om 400.000. Er zijn veertigduizend
verpleegkundigen in ziekenhuizen in Nederland, dus dat zou betekenen dat er eens per 10
jaar een verplegende moorden pleegt. Ik hoop dat dat een overschatting is. De stelling
van Bayes zegt nu dat de odds in geval van 11 doden 400.000 om 5 miljoen worden. Je
moet gewoon de prior odds vermenigvuldigen met de aannemelijkheidsverhouding. Dus
4 om 50. Dus een kans van 7,5% dat zij onschuldig is. De uitleg kan vrij simpel: in 200
jaar is er 1 moordlustige verpleegkundige waarbij 11 sterfgevallen (al of niet vermoord)
voorkomen, maar de kans dat een onschuldige verpleegster dit overkomt is
40.000*200/100.000.000=8%. De klassieke toets kijkt niet naar de prior, en het moge
duidelijk zijn dat het verschil in grootteorde tussen klassieke en Bayesiaanse uitkomsten
hier vooral aan de prior ligt. Maar ook dat die prior helemaal niet zo subjectief is. Door
aanvullend statistisch onderzoek kan hij bovendien nader gepreciseerd worden.
Het mooiste aspect van een Bayesiaanse analyse is dat je steeds informatie kunt
toevoegen. Van prior odds kom je via data (11 sterfgevallen) op posterior odds, en die
zijn weer prior odds voor de volgende stap. Stel je zoekt verdachte aanwijzingen, maar je
vindt ze niet, dan is dat vreemd als er zoveel moorden hebben plaatsgevonden. Je dacht
toch dat er bij zoveel moorden wel 50% kans was dat je iets zou vinden. Dan is er weer
sprake van een aannemelijkheidsverhouding: de kans dat je niets vindt is als er niets aan
de hand is 100%, anders 50%, een factor 2. De regel van Bayes wordt weer toegepast en
de odds gaan naar 8 om 50. Ruim 13% kans dat een veroordeling ten onrechte is. En als
de verdachte niet bekent is dat ook aannemelijker als zij onschuldig is. De odds gaan naar
16 om 50. En de klapper komt nog.
Het uitgangspunt was een kans op 11 doden van 1 op 100 miljoen. Dat cijfer is berekend
ervan uitgaande dat de kans op een sterfgeval bij een verpleegster bekend is, terwijl in
werkelijkheid zo’n kans geschat moet worden en er ook veel onzekerheid is over de vraag
of die kans voor alle verplegenden dezelfde is. Variaties in vaardigheden en
omstandigheden zijn regel. De Bayesiaanse methodiek biedt de mogelijkheid al deze
onzekerheden mee te nemen in de analyse en het standaard resultaat is dat de kans op
extreme gebeurtenissen enorm toeneemt. Dat is logisch: de kans dat er een andere
verklaring is dan moord stijgt ook met het aantal sterfgevallen. Ik denk, op basis van
ervaring, dat een Bayesiaanse analyse van Elffers’data (die ik helaas niet heb), uit zou
komen op een kans dat er onder normale omstandigheden 11 doden vallen van minstens 1
op 10 miljoen. Tien maal zo groot dus. Dan gaan de odds naar 160 om 50 en is Lucy
Klomp waarschijnlijk onschuldig. Dit is de 75% kans op onschuld die ik in het begin
genoemd heb.
Vrijwel alle feiten die in een rechtzaak naar voren komen kunnen op deze manier in de
analyse verwekt worden. Ieder feit dat een andere aannemelijkheid heeft onder de
hypothese schuldig dan onder de hypothese onschuldig draagt bij. Waarbij wellicht is
opgevallen dat het uitsluitend om kansen die betrekking hebben op wat de facto gebeurd
is, nooit op wat had kunnen gebeuren. Een klassieke toets heeft het altijd over de kans op
11 of meer sterfgevallen. Dat of meer is volgens Bayesianen irrelevant. Dat is vooral van
belang onder de hypothese “schuldig”: omdat er veel onzekerheid bestaat over de mate
van moordlust van een schuldige is de kans op precies 11 doden niet zo heel groot (een
kleine 5% in mijn berekeningen). Dus ook nader onderzoek op dat punt kan de odds
wijzigen.
Het moge duidelijk zijn dat het niet echt eenvoudig is om tot uitspraken te komen als er
geen overtuigend bewijs is. Het beroemdste voorbeeld waar veel Bayesiaans aan
gerekend is, is een moord in 1956 in Californie, gepleegd door een zwarte man met een
blanke vrouw in een gele Cadillac. Een stel dat aan deze beschrijving voldeed werd voor
de rechter gesleept, en vele statistische analyses volgden. Ik heb zelf veel aan dit
voorbeeld gerekend, en ervaren hoe moeilijk maar ook verrassend en bevredigend het is
om steeds nieuwe elementen toe te voegen.
Aan een beroemd ander geval is zelfs een heel boek gewijd: ''a Probabilistic Analysis of
the Sacco and Vanzetti Evidence'', in 1996 gepubliceerd door Jay Kadane, hoogleraar aan
Carnegie Mellon en een van de meest vooraanstaande Bayesianen. Wie meer wil weten
raadplege zijn cv op zijn website http://lib.stat.cmu.edu/~kadane. Alleen al op het terrein
''Statistics and the Law'' heeft hij meer dan dertig publicaties op zijn naam staan, naast
honderden andere artikelen. In Amerika is dit inmiddels een goed ontwikkeld vakgebied.
Conclusie?
Ik heb lang nagedacht wat de conclusie van dit verhaal is, en heb mijn mening enige
malen moeten herzien. En de misschien verrassende conclusie is er een die ik al op een
aantal terreinen heb moeten trekken: het handelen van alle partijen is zo gek nog niet,
alleen hun rationalisatie is wat wonderlijk. Elffers maakt rare berekeningen maar
formuleert de conclusies zo in de rechtbank dat het intuïtief duidelijk wordt dat hij niet
het antwoord geeft waar de rechtbank naar zoekt. De rechter maakt vonnissen die klinken
in termen van waarschijnlijkheden maar waar ik geen brood van kan bakken. Maar als ik
zie wat er gebeurt krijg ik het gevoel dat het veel meer lijkt op wat optimaal is dan ik
gegeven de rationalisaties voor mogelijk zou houden. De verklaring is simpel: daden zijn
gebaseerd op een proces gebaseerd op evolutie, rechtvaardigingen zijn er op geplakt en
gebaseerd op onderwijs. Naar mijn mening is de Bayesiaanse methode de enige
mogelijkheid om beslissingen onder onzekerheid om daden en rationalisatie in evenwicht
te brengen. En kan dat zeer vruchtbaar zijn. Maar de winst is in eerste instantie veel
kleiner dan men denkt. Wat de rechtbank in de zaak Lucy de B doet is verrassend
rationeel. De 11 sterfgevallen blijken op zich niet overtuigend te zijn maar wel genoeg
om de prior odds van 1 op 40.000 te veranderen in odds van 16 om 5, kortom een
grootteorde waarin het nodig is aanvullende informatie te vergaren alvorens te oordelen.
Precies wat de rechtbank doet.
Ik heb, toen ik mijn berekeningen maakte, op momenten gedacht: ik moet mij tot de
rechtbank wenden. Misschien krijg ik dan de kans om de zaak Lucy de B. geheel door te
rekenen. Dat zou nieuwe inzichten kunnen opleveren. In dit geval is er veel meer
informatie dan hier is gebruikt, zoals gifsporen bij patientjes. Ook hier geldt
waarschijnlijk dat een Bayesiaanse analyse die rekening houdt met alle onzekerheden laat
zien dat uitspraken van experts die iets zeggen als “het is uitgesloten dat er een andere
verklaring is dan de toediening van gif door Lucy de B” met een korreltje zout genomen
moeten worden. Experts zijn meestal mensen die hun zekerheden overschatten. Aan de
andere kant kan belastende informatie ook opbouwen. Tien onafhankelijke feiten die
twee maal zo waarschijnlijk zijn onder de hypothese schuld veranderen de odds met een
factor 1000. Maar volgens mij redeneert de rechtbank min of meer zo. In een
onbegrijpelijke taal, niet na te gaan voor waarschijnlijkheidsrekenaars, maar
gesanctioneerd door evolutie. We hebben maar weinig gevallen van veroordelingen die
ten onrechte bleken in Nederland.
Als je alles in termen van kansberekening zou doen, zijn de debatten tussen aanklagers en
advocaten die het gevolg zijn, niet te overzien. En gegeven hun gebrekkige kennis van
kansrekening ook vooralsnog onwenselijk. Zij hebben hun geheimtaal die meestal tot
redelijke conclusies leidde. En de kans dat Lucy de B schuldig is past daar niet echt in.
Bovendien is er in Nederland geen wet die in termen van kansen op een terechte
beslissing definieert wat “wettig en overtuigend bewijs” is. Is dat 95%? Of 99%?
Rechters zullen volhouden dat het 99,99% is. Maar rechters zijn experts.