Automatische detectie van onbegrip op basis van

Automatische detectie van onbegrip
op basis van gezichtsuitdrukkingen
Tineke van den Hoek
ANR: 608614
HAIT Master Thesis
THESIS SUBMITTED IN PARTIAL FULFILMENT
OF THE REQUIREMENTS FOR THE DEGREE OF
MASTER OF ARTS IN COMMUNICATION AND INFORMATION SCIENCES,
MASTER TRACK HUMAN ASPECTS OF INFORMATION TECHNOLOGY,
AT THE SCHOOL OF HUMANITIES
OF TILBURG UNIVERSITY
Thesis committee:
Dr. M. Postma-Nilsenová
Prof. Dr. E.O. Postma
Tilburg University
School of Humanities
Department of Communication and Information Sciences
Tilburg centre for Cognition and Communication (TiCC)
Tilburg, The Netherlands
August 2014
AUTOMATISCHE DETECTIE VAN ONBEGRIP
2
Abstract
Effective communication between health professionals and patients is pivotal to medical care.
In particular, older patients are often confused by the medical terminology used by health
professionals. These patients may hide their confusion, because they are ashamed or intimidated
by the situation. Training health professionals to recognize nonverbal signs of confusion,
contributes to the effectiveness of communication. The focus of the study presented in this
thesis is on the automatic detection of confusion from facial expressions. Two experiments were
performed with elderly participants. In the first experiment, the participants were presented with
a medical explanation that was either easy or hard to understand. In the second experiment, the
Feeling of Knowing (FOK) paradigm was used to assess the lack of knowledge of the elderly
participants. In both experiments, the faces of the participants were recorded on video in order
to be able to measure their facial expressions. The measurement of expressions is based on
Facial Action Units, the building blocks of facial expressions. Using automatic coding software
that converts facial videos in Action Unit estimates in combination with automatic classification
software, predictions could be generated using the videos of both experiments. For the videos
of the first experiment, confusion could be predicted with an accuracy of 68%. For the videos
of the second experiment, a prediction accuracy of 35% was obtained (chance level 17%).
These results show that, within favourable conditions, it is possible to detect confusion and
Feeling of Knowing well above chance level. No correlation could be established between the
confusion and FOK scores.
AUTOMATISCHE DETECTIE VAN ONBEGRIP
Inhoudsopgave
Abstract…………………………………………………………………………….. 2
1. Inleiding………………………………………………………………………... 5
2. Theoretisch kader………………………………………………………………. 6
2.1. Social Signal Processing ……………………………………………… 6
2.2. Automatische detectie ………………………………………………… 8
2.3. Feeling of Knowing …………………………………………………… 9
2.4. Relatie FOK en onbegrip ……………………………………………... 11
2.5. Medische communicatie……………………………………………….. 13
3. Methode…………………………………………………………………………14
3.1.1 Dataverzameling …………………………………………………..….14
3.1.2 Participanten ………………………………………………………….14
3.1.3 Onderzoeksopzet……………………………………………………... 15
3.1.4 Materiaal …………………………………………………………….. 16
3.1.5 Instrumentatie ……………………………………………………….. 16
3.1.6 Procedure ……………………………………………………………. 18
3.2.1 Data-analyse ………………………………………………………… 19
3.2.2 Opbouw database ……………………………………………………. 19
3.2.3 Computer Expression Recognition Toolbox (CERT) ……………… 21
3.2.4 Machine Learning …………………………………………………… 24
3.2.5 K-NN algoritme …………………………………………………….. 25
4. Resultaten……………………………………………………………………… 25
4.1 Onbegrip detectie …………………………………………………….. 25
4.1.1 Manipulatiecheck …………………………………………………… 25
4.1.2 Gezichtskenmerken …………………………………………………. 26
4.1.3 K-NN classificatie …………………………………………………... 27
4.2 Feeling of Knowing detectie ………………………………………….. 28
4.2.1 FOK score …………………………………………………………… 28
4.2.2 Gezichtskenmerken ………………………………………………….. 30
4.2.3 K-NN classificatie …………………………………………………… 32
3
AUTOMATISCHE DETECTIE VAN ONBEGRIP
5. Discussie ………………………………………………………………………. 32
5.1 Verwachting van het onderzoek ……………………………………….. 32
5.2 Uitkomsten van het onderzoek ………………………………………… 33
5.2.1 Onbegrip …………………………………………………………….. 33
5.2.2 Feeling of Knowing …………………………………………………. 33
5.3 Beperkingen en aanbevelingen ………………………………………… 34
5.4 Vervolgonderzoek ……………………………………………………... 34
6. Conclusies ……………………………………………………………………. 36
6.1 Onderzoeksvraag 1……….……………………………………………. 36
6.2 Onderzoeksvraag 2…………………………………………………….. 36
6.3 Toekomstig onderzoek ………………………………………………… 36
7. Referenties………………………………………………………………………37
8. Bijlages………………………………………………………………………… 42
Bijlage A: Scripts video’s………………………………………………….. 42
Bijlage B: Vragenlijst FOK ouderen……………………………………….. 44
Bijlage C: Gemiddelde data per AU……………………………………….. 46
4
AUTOMATISCHE DETECTIE VAN ONBEGRIP
5
1. Inleiding
Non-verbale communicatie is belangrijk voor informatieoverdracht tijdens een gesprek tussen
arts en patiënt (Hall, Roter, Blanch, & Frankel, 2009). De kans op miscommunicatie neemt toe
wanneer non-verbale cues niet goed worden overgebracht of waargenomen door een van beide
partijen. Wanneer een patiënt de informatie niet heeft begrepen kunnen de non-verbale signalen
van onbegrip minimaal zijn. Non-verbale signalen zijn daarnaast ook vaak onbewuste
gedragingen (Pinto, 2004). Hierdoor zijn non-verbale signalen, in het bijzonder
gezichtsuitdrukkingen, lastig detecteerbaar. Daarom is het van belang dat een arts de nonverbale signalen van een patiënt zo goed mogelijk analyseert en registreert om de
informatieoverdracht naar de patiënt goed te laten verlopen.
Voor het opmerken van (minimale) non-verbale signalen bestaat software die beweging
in het gezicht detecteert. Deze software is in staat om non-verbale signalen van de gezichten
van mensen af te lezen. Deze non-verbale signalen worden ook wel non-verbale cues genoemd.
Aan de diverse combinaties van non-verbale cues zijn Action Units (AU’s) gekoppeld (Ekman
& Friesen, 1978). Action units zijn de bewegende delen in het gezicht. Een voorbeeld van een
AU is het bewegen van de wenkbrauw. De software die in dit onderzoek wordt gebruikt voor
het detecteren van gezichtsuitdrukkingen is de Computer Expression Recognition Toolbox
(CERT). CERT is in staat om door middel van het aflezen van non-verbale cues van het gezicht
aan te geven welke AU gebruikt wordt door de persoon. Activiteit in meerdere AU’s tegelijk
wordt geclassificeerd tot een gezichtsuitdrukking. Hierdoor kunnen diverse emoties en
uitdrukkingen goed worden onderscheiden en met elkaar vergeleken.
Het detecteren van emoties en gezichtsuitdrukkingen speelt een belangrijke rol in het
waarnemen van onbegrip (Barkhuysen, Krahmer, & Swerts, 2005). De vaardigheid van het
waarnemen van onbegrip is belangrijk voor artsen. Zoals eerder beschreven kan het tijdig
signaleren van onbegrip bij de patiënt de informatieoverdracht beter laten verlopen (Hall et al.,
2009). Wanneer het mogelijk is om onbegrip automatisch te detecteren, kan dat worden ingezet
voor training en ontwikkeling van persoonlijke vaardigheden. Artsen kunnen worden getraind
in het detecteren van non-verbale signalen en het tijdig herkennen van onbegrip, waardoor de
kans op miscommunicatie tijdens arts-patiënt gesprekken afneemt. Een eerste stap is het
onderzoeken welke non-verbale cues worden geuit door mensen die onbegrip ervaren. Indien
deze cues goed te detecteren en te onderscheiden zijn, zou het mogelijk moeten zijn om
onbegrip automatisch te detecteren. Het onderzoek richt zich op bovenstaande stappen, met als
eindvraag of het mogelijk is om onbegrip automatisch te detecteren door middel van nonverbale cues.
6
AUTOMATISCHE DETECTIE VAN ONBEGRIP
Eerder onderzoek dat nauw verwant is aan begrip is onderzoek naar Feeling of Knowing
(FOK) (Hart, 1965). FOK is het gevoel te beschikken over kennis, maar niet in staat zijn deze
kennis op dat moment op te halen. Dit gevoel van onwetendheid ligt dicht bij het gevoel van
onbegrip. Er is relatief veel onderzoek gedaan naar FOK, in tegenstelling tot onbegrip. De nonverbale signalen die worden waargenomen tijdens eerder onderzoek naar FOK (Swerts &
Krahmer, 2005), komen veelal overeen met de non-verbale signalen die getoond worden tijdens
onbegrip. Naast bovenstaande onderzoeksvraag, wordt met deze studie ook onderzocht of er
een relatie bestaat tussen onbegrip en FOK. Wanneer deze relatie wordt aangetoond, kan
eerdere literatuur over FOK gebruikt worden voor nader onderzoek naar onbegrip.
2. Theoretisch kader
2.1 Social Signal Processing
Deze studie naar onbegrip en Feeling of Knowing maakt gebruik van Social Signal Processing
(SSP) methodes. SSP gaat over het automatisch begrijpen van sociale interactie, door het
analyseren van non-verbale cues (Vinciarelli, Salamin, & Pantic, 2009). Onder sociale
interactie valt bijvoorbeeld agressie, onenigheid, vriendschappelijkheid, en genegenheid. Nonverbale cues die bij een specifieke interactie horen zijn detecteerbaar met een computer.
Hierdoor kunnen interactiesignalen tussen mensen worden afgelezen. Onder deze non-verbale
cues vallen bijvoorbeeld gezichtsuitdrukkingen en lichaamshouding. Het gezicht is de
belangrijkste informatiebron voor het aflezen van iemands gemoedstoestand (Knapp & Hall,
2006). Tijdens een conversatie worden gezichtsuitdrukkingen gebruikt als non-verbale signalen
om de gegeven informatie zo goed mogelijk over te brengen (Barkhuysen et al., 2005). Aan de
hand van visuele non-verbale cues zoals gezichtsbewegingen, kunnen emoties, uitdrukkingen
en interacties automatisch worden gedetecteerd en gecodeerd. Methodes die hiervoor gebruikt
worden zijn computer vision en machine learning technieken.
De automatische analyse van non-verbale cues in gezichten is doorgaans gebaseerd op
het Facial Action Coding System (FACS) (Ekman & Friesen, 1978). Dit systeem biedt de meest
nauwkeurige
beschrijving
van
lokale
gezichtsbewegingen,
de
bouwstenen
van
gezichtsexpressies die Facial Action Units worden genoemd, of kortweg Action Units (AU’s;
Ekman & Friesen, 1978). Figuur 1 geeft een illustratie van de meest voorkomende Action Units
(Ekman & Friesen, 1978). Er zijn twee verschillende categorieën van AU’s: “upper face Action
Units” en “lower face Action Units”, voor respectievelijk de bovenste en onderste helft van het
gezicht. De upper face Action Units hebben voornamelijk betrekking op bewegingen van de
ogen en wenkbrauwen. De lower face Action Units betreffen met name de neus en de mond.
AUTOMATISCHE DETECTIE VAN ONBEGRIP
7
Een voorbeeld van een upper face Action Unit is AU4, de Brow lowerer. Deze Action Unit
beschrijft het naar beneden bewegen van de wenkbrauwen. De Action Units van FACS bieden
een uitstekende basis voor de automatische detectie van non-verbale cues in gezichten.
Figuur 1. Overzicht van de belangrijkste Action Units van Ekman & Friesen (1978).
Iedere foto illustreert de lokale gezichtsexpressie die onder de foto staat. Boven iedere
foto staat het Action Unit nummer. De bovenste twee rijen tonen de upper face Action
Units, de onderste drie rijen de lower face Action Units.
Overgenomen
van
http://what-when-how.com/face-recognition/facial-expression-
recognition-face-recognition-techniques-part-1/
AUTOMATISCHE DETECTIE VAN ONBEGRIP
8
2.2 Automatische detectie
De Computer Expression Recognition Toolbox (CERT) is gebaseerd op het FACS systeem.
Hierdoor is CERT een zeer geschikt programma voor het automatisch detecteren van
gezichtsuitdrukkingen met behulp van Action Units (Shen & Bai, 2006). De software leest
digitale video’s en detecteert gezichten. Voor ieder frame van de video, worden
gezichtsbewegingen en de diverse AU’s gedetecteerd en naar een bestand weggeschreven.
CERT is in staat om de gezichtsexpressies behorende bij de basisemoties te herkennen,
maar een “niet standaard emotie” zoals onbegrip staat niet voorgeprogrammeerd in deze
software. Omdat onbegrip het hoogst scoort op asymmetrische emoties is het de meest
opvallende “niet standaard emotie” (Rozin & Cohen, 2003). Gezichtsuitdrukkingen zijn een
betere graadmeter voor onbegrip dan lichaamshouding. Deze specifieke cues zeggen meer over
onbegrip dan de algehele lichaamstaal (Grafsgaard, Boyer, Phillips & Lester, 2011). Bij
asymmetrische emoties, zoals onbegrip, komen twee typen van gezichtsuitdrukkingen vaker
voor dan bij symmetrische emoties; dit zijn: het optrekken van één wenkbrauw en het bijten op
de lip/het uitsteken van de tong. De laatste gezichtsuitdrukking is verklaarbaar: er is maar één
mond en één tong om te bewegen, waardoor deze beweging altijd plaats vindt aan een kant van
het gezicht. Echter het optrekken van één wenkbrauw lijkt een andere betekenis te hebben dan
het optrekken van beide wenkbrauwen (Rozin & Cohen, 2003). Wat betreft symmetrische
gezichtsuitdrukking bij het tonen van onbegrip is het vernauwen van de ogen een veel
voorkomende beweging. Maar ook het samentrekken, fronsen, van de wenkbrauwen komt veel
voor. Deze beweging van de wenkbrauwen is in FACS gedefinieerd als Action Unit 4. Uit
eerder onderzoek naar onbegrip is gebleken dat AU 4 een hoge correlatie heeft met onbegrip
(Craig, D’Mello, Witherspoon, & Greasser, 2008; McDaniel et al., 2007). Ook Pope en Smith
(1994) hebben een verband aangetoond tussen het “fronsen van de wenkbrauwen” en
verwarring en onbegrip. Het is dus waarschijnlijk dat er een relatie bestaat tussen onbegrip, het
fronsen van de wenkbrauwen en AU 4, die mogelijk is aan te tonen met behulp van CERT.
De verwachte correlatie tussen onbegrip en Action Unit 4 leidt tot de eerste
onderzoeksvraag van deze studie: “In hoeverre is het mogelijk om onbegrip automatisch te
detecteren aan de hand van gezichtsuitdrukkingen?”. Eerder onderzoek toonde aan dat het met
behulp van CERT zeer goed mogelijk is om emoties te detecteren. Daarom is de verwachting
dat het ook mogelijk is om onbegrip automatisch te detecteren.
AUTOMATISCHE DETECTIE VAN ONBEGRIP
9
2.3 Feeling of Knowing
Een concept dat raakvlakken heeft met onbegrip is Feeling Of Knowing (FOK). Om de relatie
tussen deze twee concepten duidelijk te maken worden eerst de specificaties van FOK
besproken.
Feeling Of Knowing (FOK) gaat over het gevoel van zekerheid over het kunnen
beantwoorden van een vraag. Er wordt een vraag gesteld en de ondervraagde participant moet
daarna inschatten of hij of zij in staat is om deze vraag goed te beantwoorden (Hart, 1965). Wat
er dus gebeurd is dat mensen een inschatting maken naar de capaciteit van hun eigen geheugen.
Ze kunnen de informatie op dat moment niet ophalen, maar ze kunnen wel bedenken dat ze
over de kennis beschikken in hun geheugen (Koriat, 1993). Volgens onderzoek van Hart (1965)
beschikt de mens over een soort interne monitor. Deze monitor bekijkt wat er is opgeslagen in
het geheugen. Wanneer de informatie er is, kan het geheugen dit ophalen. Wanneer de monitor
signaleert dat er geen kennis ligt opgeslagen, hoeft het geheugen ook geen moeite te doen om
te proberen de kennis op te halen. Met behulp van deze monitor wordt volgens Hart (1965)
FOK ingeschat. Wanneer iemand het antwoord op een vraag niet direct weet te zeggen, maar
hij of zij wel de zekerheid heeft over de kennis te beschikken, uit zich dit in een hoge FOK
score. Wanneer iemand onzeker is of het goede antwoord kan worden gegeven, uit zich dit in
een lage FOK score (Reder & Ritter, 1992).
FOK wordt uitgedrukt in een score op een schaal van 1 tot 7. Wanneer FOK duidelijk
optreedt, is er sprake van een score van 7: de participant is zeker van het antwoord op de vraag.
Wanneer FOK slechts minimaal aanwezig is, duidt dit op een score van 1: de participant is
onzeker over het antwoord op de vraag. In figuur 2 is het verschil tussen hoge en lage FOK
zichtbaar gemaakt met behulp van twee afbeeldingen. In figuur 2A weet de participant het
antwoord op een open vraag. In figuur 2B weet de participant geen antwoord op de vraag.
Wanneer de participant zeker is van het antwoord, zoals bij de eerste afbeelding, uit zich dit in
een hoge FOK-score. Wanneer de participant onzeker is van het antwoord omdat er geen kennis
is van het onderwerp, uit zich dit in een lage FOK-score.
10
AUTOMATISCHE DETECTIE VAN ONBEGRIP
(A)
(B)
Figuur 2. De uiting van het FOK-gevoel gaat gepaard met non-verbale
signalen van de wenkbrauwen en mondhoeken. Bij een hoge FOK-score
(A) staat het gezicht meer neutraal dan bij een lage FOK-score (B).
Wanneer er wordt gevraagd de FOK score van een ander in te schatten is dit Feeling Of
Another’s Knowing (FOAK). Deze inschatting wordt gemaakt op basis van de non-verbale
signalen die worden geuit door de participant die de vragen beantwoordt (Brennan & Williams,
1995). Deze non-verbale signalen hebben betrekking op de zekerheid dan wel onzekerheid van
de participant die de vragen beantwoordt. Wanneer de participant een antwoord formuleert,
ongeacht goed of fout, wordt de inschatting van FOAK gemiddeld gezien beter gedaan dan
wanneer de participant een non-antwoord geeft (Brennan & Williams, 1995). Een nonantwoord wordt gegeven om de vraagstelling te ontwijken, in vele gevallen omdat de participant
geen antwoord weet op de vraag. Dus bij een hoge FOK score lukt het de andere participant
beter om FOAK in te schatten.
Het verschil tussen hoge en lage FOK-scores is ook non-verbaal zichtbaar. Hoge FOKscores zijn gekenmerkt door weinig tot geen pauzes tijdens het antwoord, een dalende intonatie
in de stem en een neutrale gezichtsuitdrukking. Lage FOK scores gaan gepaard met veel (opvul)
pauzes, vaker een stijgende intonatie in de stem en weinig neutrale gezichtsuitdrukkingen
(Dijkstra, Krahmer, & Swerts, 2006). Tijdens het ervaren van een laag FOK gevoel worden er
meer non-verbale signalen geuit dan tijdens een hoog FOK gevoel. Dus wanneer iemand
onzeker is over het antwoord op een vraag resulteert dit in meer expressie (Visser, Krahmer, &
Swerts, 2013). Gezichten zonder neutrale uitdrukking worden in het FACS weergegeven als
“funny faces”. Deze bestaan uit combinaties van diverse upper face AU’s en lower face AU’s.
Veel voorkomende combinaties zijn AU 15 lip corner depression, AU 20 lip stretching of AU
24 lip pressing, met AU 15 eye widening en met AU 1 inner brow raise of AU 2 outer brow
raise (Swerts & Krahmer, 2005). Een voorbeeld van de visuele non-verbale signalen tijdens
AUTOMATISCHE DETECTIE VAN ONBEGRIP
11
een lage FOK score is terug te zien in figuur 2A; er is beweging in de mondhoeken, ogen en
wenkbrauwen weergegeven.
Een belangrijke factor die van invloed is op de FOK score is leeftijd. Uit eerdere studies
naar ouderdom is bekend dat het geheugen van de mens afneemt naar mate men ouder wordt.
Hierdoor presteren ouderen minder goed in taken die betrekking hebben op het geheugen zoals
herkenning en oproepen van informatie (Prull, Gabrieli, & Brunge, 2000). Naar mate men ouder
wordt en de taken met betrekking tot het geheugen minder goed gaan werken, treft dit ook de
“interne monitor” uit het onderzoek van Hart (1965). Hierdoor kunnen ouderen minder goed in
staat zijn om FOK in te schatten voor zowel zichzelf als bij FOAK.
Onderzoek van Souchay, Moulin, Clarys, Taconnat, en Isingrini (2007) toont aan dat er
een verschil is op te merken tussen FOK scores in vergelijking met leeftijden van deelnemers,
wanneer er vragen gesteld werden die betrekking hadden op het korte termijn geheugen.
Jongere deelnemers gaven hogere FOK scores bij recent geleerde informatie dan oudere
deelnemers. Bij vragen met betrekking tot het lange termijn geheugen zijn er geen relevante
verschillen gevonden. Naast verschil in vragen met betrekking tot het korte termijn geheugen
zijn er ook verschillen met betrekking tot nauwkeurigheid, taakuitvoering en herinneringen
(Perrotin, Isingrini, Souchay, Clarys, & Taconnat, 2006). Op al deze punten scoren oudere
volwassenen tijdens FOK experimenten lager dan jongere volwassenen. Er is ook onderzoek
gedaan naar deelname van kinderen aan FOK experimenten. Kennis van gedragsregels, met
betrekking op expressie, beïnvloedt hoe mensen onbegrip uiten. Deze kennis wordt opgedaan
naar mate men ouder wordt. Oudere kinderen uiten hun onzekerheid daardoor anders dan
jongere kinderen (Visser et al., 2013). Dit verschil is ook terug te zien in FOAK. Volwassenen
zijn beter in staat om de onzekerheid van oudere deelnemers in te schatten dan de onzekerheid
van jongere deelnemers. De invloed van leeftijd op FOK scores is van belang voor dit
onderzoek omdat er onderzoek is gedaan naar oudere participanten.
2.4 Relatie FOK en onbegrip
Na deze uitleg over FOK wordt aangegeven waarom er een relatie wordt gezocht met onbegrip.
Een eerste overeenkomst tussen FOK en onbegrip heeft betrekking op de oorzaak van
de visuele non-verbale signalen. De signalen die worden geuit tijdens onderzoek naar FOK
worden geanalyseerd als signalen van onzekerheid (Swerts & Krahmer, 2005). Onzekerheid en
onbegrip worden beiden veroorzaakt door een gebrek aan kennis (Powell, Dunwoody, Griffin,
& Neuwirth, 2007).
AUTOMATISCHE DETECTIE VAN ONBEGRIP
12
De tweede overeenkomst heeft betrekking op de non-verbale signalen die worden geuit.
Onzekerheid tijdens vraag-antwoord situaties zoals bij onderzoek naar FOK wordt op diverse
manieren geuit door middel van visuele non-verbale communicatie (Swerts & Krahmer, 2005).
Een aantal belangrijke signalen zijn bewegingen van de wenkbrauwen en mondhoeken (Swerts,
Krahmer, Barkhuysen, & Van de Laar, 2003). Dezelfde gezichtsonderdelen zijn actief tijdens
het uiten van het gevoel van onbegrip (Craig et al., 2008; McDaniel et al., 2007).
Ten derde zijn in beide situaties de non-verbale visuele signalen belangrijker dan de
auditieve non-verbale signalen. Eerder onderzoek wijst uit dat dit aantoonbaar is bij de perceptie
van emoties (Van Amelsvoort, Joosten, Krahmer, & Postma, 2013). Ondanks dat onzekerheid
en onbegrip beide geen standaard emoties zijn, geldt dit wel voor beide concepten. Onderzoek
door Dijkstra et al. (2006) toont dit aan voor onderzoek naar FOAK met betrekking op de geuite
signalen tijdens de vraagstelling van FOK onderzoek. Tijdens het oplossen van ingewikkelde
problemen zijn gezichtsuitdrukkingen expressiever (Amelsvoort et al., 2013). Tijdens
ingewikkelde problemen is aan te nemen dat het niveau van onbegrip hoger ligt dan bij
eenvoudige problemen. Hierdoor zijn de gezichtsuitdrukkingen duidelijker zichtbaar dan de
auditieve non-verbale signalen. Het waarnemen van deze gezichtsuitdrukkingen speelt dus een
belangrijke rol bij onderzoek naar zowel FOK als onbegrip.
Ten slotte richten onderzoek naar FOAK en deze studie naar onbegrip zich beiden op
het detecteren van non-verbale signalen bij derden. Bij onderzoek naar FOAK wordt de
onzekerheid van een persoon gedetecteerd op basis van non-verbale signalen die worden geuit
tijdens de vraagstelling van het FOK onderzoek. Deze studie naar onbegrip richt zich op het
automatisch detecteren van gezichtsuitdrukkingen van participant die onbegrip ervaren tijdens
het experiment. Dus beide type onderzoeken gaan over de perceptie van niet standaard emoties.
Deze vierde overeenkomst is de laatste reden waarom er een relatie tussen FOK en onbegrip
wordt gezocht.
Naar aanleiding van deze overeenkomsten tussen FOK en onbegrip is de tweede
onderzoeksvraag geformuleerd: “Kan er een relatie worden aangetoond tussen onbegrip en
FOK op basis van gezichtsuitdrukkingen?”. Wanneer deze relatie kan worden aangetoond met
deze studie kan er in een vervolgstudie worden onderzocht of bestaande literatuur over
onderzoek naar FOK kan worden ingezet voor onderzoek naar onbegrip.
AUTOMATISCHE DETECTIE VAN ONBEGRIP
13
2.5 Medische communicatie
Dit onderzoek naar automatische detectie van onbegrip kan worden toegepast in het werkveld
van medische communicatie. Onderzoek naar communicatie tussen arts en patiënt wijst
namelijk uit dat non-verbale communicatie bijdraagt aan een betere conversatie (Hall et al.,
2009). Er is sprake van een goede conversatie wanneer de informatie die de arts geeft goed
wordt begrepen door de patiënt, zonder dat er sprake is van een gevoel van onbegrip bij de
patiënt. Er zijn meerdere oorzaken die dit gevoel van onbegrip kunnen veroorzaken. Een eerste
oorzaak ontstaat wanneer de non-verbale cues niet goed worden overgebracht of worden
waargenomen door een van beide partijen. Een tweede oorzaak voor het gevoel van onbegrip
ontstaat wanneer beide personen een verschillende interpretatie geven aan de non-verbale
signalen. Wanneer een (hoogopgeleide) arts met een (oudere) patiënt spreekt, kan er zeker een
verschil aan interpretatie van non-verbale signalen optreden. Dit komt door achtergrond-,
culturele- en leeftijdsverschillen van beide personen (Pinto, 2004). Deze problemen met nonverbale signalen veroorzaken miscommunicatie en onbegrip in de medische conversatie.
Een derde oorzaak van onbegrip bij de patiënt tijdens een medische conversatie is het
taalgebruik van de behandelend arts. Artsen en zorgverleners maken veel gebruik van medisch
jargon in hun manier van communiceren. Dit wordt gebruikt voor zowel communicatie met
andere zorgverleners als voor communicatie met patiënten (Houts, Doak, & Loscalzo, 2006).
Door het verschil in niveau van medische kennis tussen arts en patiënt kan het gebruik van
medisch jargon door de arts onbegrip veroorzaken bij de patiënt. Wanneer patiënten dit
onbegrip (non-verbaal) uiten is het van belang dat de arts dit detecteert. Als de arts het onbegrip
waarneemt kan hij hierop inspelen door bijvoorbeeld zijn taalgebruik te veranderen waardoor
de medische communicatie beter zal verlopen.
Een vierde factor voor het ontstaan van onbegrip tijdens medische communicatie is
leeftijd. Leeftijdsgebonden factoren als sensorische, functionele of cognitieve beperkingen
spelen een rol in de communicatie van arts naar patiënt. Juist doordat deze beperkingen zich
meer voordoen naarmate mensen ouder worden, hebben oudere mensen de meeste ervaring met
betrekking tot het voeren van een medisch gesprek met een arts (Van Weert, Jansen & Van
Dulmen, 2012). Bij oudere patiënten is het noodzakelijk om specifieke informatie over de
patiënt te geven om het gesprek zo patiënt gericht en efficiënt mogelijk te laten verlopen. Dit is
een belangrijke factor om voor het begrip en de tevredenheid van de patiënt, de uitkomst van
de behandeling en therapietrouw (Rost & Roter, 1987). Er zijn nog diverse andere oorzaken
van slechte communicatie tussen artsen en oudere patiënten: stereotypering, slechte articulatie,
gebruik van medisch jargon door artsen, slechter zien en horen, cognitieve en
AUTOMATISCHE DETECTIE VAN ONBEGRIP
14
geheugenproblemen bij de patiënten en ten slotte ook omgevingsgeluiden (Lubinski &
Welland, 1997; Van Cott, 1993; Armerman & Parnell, 1992; Kopp, 2001). Een laatste
belangrijke oorzaak van communicatieproblemen is het feit dat ouderen andere non-verbale
signalen gebruiken om zich uit te drukken dan jongeren (Kaplan, Gandek, Greenfield, Rogers
& Ware, 1995; Kent & Burkard, 1981). Deze diverse genoemde leeftijdsgebonden factoren
spelen allen een belangrijke rol in de medische communicatie tussen de arts en een oudere
patiënt.
De vier eerdergenoemde factoren: het detecteren van non-verbale cues, de interpretatie
van gedetecteerde non-verbale cues, het gebruik van medisch jargon door de arts en de leeftijd
van de patiënt zorgen ervoor dat er onbegrip kan ontstaan tijdens een medische conversatie
tussen arts en patiënt. Het is dus belangrijk voor goede communicatie tussen arts en patiënt dat
het wordt opgemerkt wanneer een patiënt de verkregen informatie niet begrijpt. Eerder
onderzoek van Weert, Jansen, Spreeuwenberg, Van Dulmen en Bensing (2011) heeft
aangetoond dat communicatietraining bij artsen ten goede komt van de gesprekken tussen arts
en oudere patiënten. Dit onderzoek was gebaseerd op de hoeveelheid informatie die patiënten
hadden onthouden na afloop van het gesprek. Door artsen ook te trainen in het herkennen van
onbegrip bij oudere patiënten, kan dit wellicht nog beter bijdragen aan de hoeveelheid
informatie die de patiënt heeft begrepen en onthouden. Hierdoor wordt de communicatie tussen
arts en patiënt alsmaar beter. Wanneer het mogelijk is om onbegrip automatisch te detecteren
kan dit worden ingezet voor het trainen van artsen en andere medische hulpverleners. Om te
onderzoeken of het mogelijk is om bij te dragen aan betere communicatie tussen arts en patiënt,
door middel van automatische detectie van onbegrip, maakt deze studie gebruik van
bovengenoemde vier oorzaken van onbegrip tijdens medische communicatie met oudere
participanten.
3. Methode
Het onderzoek is opgebouwd uit twee delen. Het eerste deel van het experiment is gericht op
onbegrip; het tweede deel van het experiment is opgezet met de standaard Feeling of Knowing
paradigma.
3.1.1 Dataverzameling
3.1.2 Participanten
Er hebben 24 participanten deelgenomen aan het onderzoek: twaalf mannen en twaalf vrouwen.
Zij waren allen zeventig jaar en ouder met een gemiddelde leeftijd van 79.5 jaar (SD = 6.2). Er
AUTOMATISCHE DETECTIE VAN ONBEGRIP
15
is één participant uitgesloten van deelname omdat de data van onvoldoende kwaliteit was, dit
resulteerde in 23 geschikte participanten bestaande uit twaalf mannen en elf vrouwen. De
participanten zijn evenredig verdeeld over de twee condities. Ze zijn geworven in Rotterdam
en Tilburg. De participanten uit Rotterdam (N = 16) waren bewoners van twee
verzorgingstehuizen. De participanten uit Tilburg (N = 7) waren bezoekers van een
activiteitencentrum. Het waren ouderen die ofwel zelfstandig woonden, ofwel in een
verzorgingstehuis. Ze waren allen cognitief goed in staat om deel te nemen aan het onderzoek.
Dit is beoordeeld door de medewerkers van het verzorgingscentrum dan wel
activiteitencentrum die dagelijks te maken hebben met de deelnemende participanten. Ook is
dit gebleken tijdens uitvoering van het onderzoek. De participanten waren goed in staat om
nemen aan de experimenten en begrepen de taak die zij moesten uitvoeren uitstekend.
3.1.3 Onderzoeksopzet
Het eerste deel van het experiment bestond uit een 2x2 tussen-participant ontwerp. De
onafhankelijke variabele is bepaald door taalmanipulatie. De afhankelijke variabele was het
onbegrip van de participant. Iedere participant heeft twee videofragmenten van gemiddeld twee
minuten bekeken: een gemanipuleerde video en een controlevideo. Deze video’s toonden een
medische instructie over een hartaanval dan wel herseninfarct.
Door het gebruik van twee verschillende onderwerpen zijn er twee verschillende
variaties ontstaan. In situatie 1 (N=8) heeft de participant gekeken naar een controlevideo met
informatie over een hartaanval en een complexe video over een beroerte. In situatie 2 (N=15)
heeft de participant gekeken naar een controlevideo over een beroerte en een complexe video
over een hartaanval. Om de mate van begrip te kunnen meten wordt de data vergeleken tussen
de participanten. Het begrip van de participanten moet gemiddeld hoog liggen tijdens het kijken
naar een controlevideo en gemiddeld laag liggen tijdens het kijken van een complexe video.
Om deze reden wordt de data vergeleken tussen de participanten die dezelfde video hebben
bekeken.
Het tweede deel van het experiment naar FOK maakt gebruik van een 2x2 binnen
participant ontwerp. Er werd een vragenlijst afgenomen met twintig open vragen. Eenvoudige
en complexe vragen werden afwisselend gesteld. Er zijn twee verschillende vragenlijsten
gemaakt die random verdeeld over de participanten werden afgenomen. De manipulatie in
moeilijkheidsgraad van de vragen bepaalde de onafhankelijke variabele. De mate waarin
onwetendheid werd ervaren bepaalde de afhankelijke variabele.
AUTOMATISCHE DETECTIE VAN ONBEGRIP
16
3.1.4 Materiaal
Voor het opnemen van de instructievideo’s uit het eerste deel van het experiment zijn er vier
videoscripts uitgeschreven. Twee scripts bevatten informatie over een hartaanval, de andere
twee scripts over een beroerte. De controlescripts zijn geschreven in eenvoudig taalgebruik, de
gemanipuleerde scripts maakten gebruik van medisch jargon. In de scripts over een hartaanval
zijn 23 gemanipuleerde woorden verwerkt. De scripts over de beroerte bevatten 19
gemanipuleerde woorden. De videoscripts zijn bijgevoegd in bijlage A. Deze scripts zijn
voorgelezen door een onderzoeker in een doktersjas. Door het gebruik van deze jas werd
geïnsinueerd dat deze persoon een arts was. Het voorlezen van de scripts is gefilmd en daarna
aan de participanten getoond waardoor iedere participant dezelfde film kon bekijken met exact
hetzelfde taalgebruik.
Voor het tweede deel van het experiment zijn vragenlijsten samen gesteld met twintig
open vragen. De bestaande vragenlijsten uit eerder onderzoek naar FOK zijn geschikt voor
volwassenen en kinderen. Om een vragenlijst voor ouderen te ontwikkelen zijn er vragen uit de
bestaande versies voor volwassenen en kinderen gecombineerd tot een nieuwe vragenlijst
(Visser, 2013). De vragenlijsten die gebruikt zijn gedurende het onderzoek staan vermeld in
bijlage B.
Zowel de instructievideo’s als de vragenlijsten zijn vooraf getest bij een ouder echtpaar,
een man van 85 jaar en een vrouw van 83 jaar oud. Beiden waren cognitief in staat om het
experiment uit te voeren. Omdat deze resultaten zijn gebruikt om het experiment te testen, zijn
zij later uitgesloten van deelname aan het daadwerkelijke experiment. De participanten
reageerden positief op het materiaal. De vragenlijsten waren goed samengesteld door
eenvoudige en moeilijke vragen af te wisselen. Het werd ervaren als een soort quiz, waardoor
de participanten aangaven dat het plezierig was om deel te nemen aan het experiment.
3.1.5 Instrumentatie
De laptop waarop de video’s zijn bekeken door de participanten was een Asus laptop (ASUS
S56CM-XX079H). De camera die gebruikt is voor de opnames van de participanten was een
Samsung videocamera (S10 HD Camcorder). Tijdens het kijken van de video zat de participant
aan tafel en stond de laptop voor hen op tafel. De videocamera stond achter de tafel waardoor
er gemiddeld 70 centimeter afstand ontstond tussen de participant en de camera. In figuur 3
staat de grafische weergave van de eerste onderzoeksopstelling.
AUTOMATISCHE DETECTIE VAN ONBEGRIP
17
Figuur 3. Grafische weergave van de onderzoeksopstelling
tijdens het eerste deel van het onderzoek.
Tijdens het tweede deel van het experiment zat de participant wederom aan tafel, met
daarachter de camera opgesteld. De interviewer zat bewust buiten het beeld van de participant,
er is een obstakel tussen hen in geplaatst. Deze tweede onderzoeksopstelling is grafisch
weergegeven in figuur 4.
Figuur 4. Grafische weergave van de onderzoeksopstelling
tijdens het tweede deel van het onderzoek.
AUTOMATISCHE DETECTIE VAN ONBEGRIP
18
3.1.6 Procedure
Het eerste deel van het experiment startte met het tonen van de eerste controlevideo aan de
participant. Tijdens het kijken naar deze video werd de participant gefilmd, ter analyse van de
gezichtsuitdrukking. Na afloop van de eerste film werd de participant gevraagd of alle
informatie begrijpelijk was. Ook werd er gevraagd of de participant informatie kon herhalen
die zojuist gegeven was in de video. Deze controle taak werd gedaan om te bepalen of de
participant de verkregen informatie ook daadwerkelijk had begrepen. Ten slotte werd er
gevraagd om de instructievideo een cijfer te geven voor de duidelijkheid van de uitleg. Het
cijfer werd gevraagd op schaal van één tot tien, waarbij één stond voor onduidelijke uitleg en
tien stond voor duidelijke uitleg.
Vervolgens werd de tweede video getoond aan de participant. Het onderwerp van de
tweede video was niet gelijk aan het onderwerp uit de eerste video. Hierin werd een variatie
aangebracht door middel van de twee onderwerpen “hartaanval” en “beroerte”. De tweede
video was de gemanipuleerde video met complex taalgebruik. Hierin waren de eenvoudige
termen uit de controlevideo vervangen door medisch jargon. De procedure was verder gelijk
aan het bekijken van de eerste video: de participant werd gefilmd en na afloop werd er een
controlevraag gesteld. Ook deze film moest worden beoordeeld op duidelijkheid op schaal van
één tot tien. Ten slotte is de participanten gevraagd beide videoscripts op papier te lezen.
Hierover is gevraagd een cijfer te geven op duidelijkheid op schaal van één tot tien. Deze
controle is gedaan als manipulatiecheck van de scripts.
Het tweede deel van het experiment startte met het afnemen van de FOK paradigma. Er
waren twee versies van de FOK paradigma met elk twintig vragen, die afwisselend zijn
afgenomen bij de participanten. Elf participanten kregen versie één, twaalf participanten kregen
versie twee. Het experiment startte met het afnemen van de twintig open vragen. Tijdens dit
traject zijn de participanten gefilmd, ter analyse van de gezichtsuitdrukking. Tijdens het stellen
van de vragen zat de interviewer bewust uit het gezichtsveld van de participant. Hierdoor kon
de participant geen contact zoeken met de interviewer en werd de participant ertoe aangezet om
zelf na te denken over de vraag en duidelijk in de camera te kijken. De interviewer kon hierdoor
geen hints geven om de participant op weg te helpen. Na afloop van het beantwoorden van de
open vragen werd de camera uitgezet.
Na de productietaak volgde de perceptietaak. Dezelfde twintig vragen zijn nogmaals
doorlopen samen met de participant. Per vraag gaf de participant een indicatie van het Feeling
of Knowing gevoel op schaal van één tot zeven, met daarbij de volgende uitleg van deze
zevenpunts-schaal:
AUTOMATISCHE DETECTIE VAN ONBEGRIP
19
1. Absoluut zeker dat ik het juiste antwoord NIET herken.
2. Bijna zeker dat ik het juiste antwoord NIET herken.
3. Waarschijnlijk dat ik het juiste antwoord niet herken.
4. Geen idee of ik het juiste antwoord herken.
5. Waarschijnlijk dat ik het juiste antwoord WEL herken.
6. Bijna zeker dat ik het juiste antwoord WEL herken.
7. Absoluut zeker dat ik het juiste antwoord WEL herken.
Aan de hand van deze indicatie is er een onderscheid gemaakt door de cijfers één tot en met
vier te classificeren als lage FOK score en de cijfers vijf tot en met zeven als hoge FOK score.
Ten slotte zijn de vragen nogmaals gesteld aan de participanten maar nu met meerkeuze
antwoorden erbij. Per vraag werden vier antwoordmogelijkheden gegeven waaruit de
participant kon kiezen. Dit werd gebruikt als laatste controletaak om te vergelijken of het
gegeven antwoord overeenkomt met de FOK score. Wanneer de participant een hoge FOK
score gaf en het juiste antwoord kon selecteren kwam dit overeen. Als de participant een hoge
FOK score gaf maar het juiste antwoord niet kon selecteren was er een tegenspraak in het FOK
gevoel van de participant. Indien dit voor alle vragen zou gebeuren zou de participant niet
geschikt zijn voor dit onderzoek.
3.2.1 Data-analyse
Per participant zijn er twintig FOK fragmenten en vier video fragmenten geselecteerd. Deze
fragmenten zijn geanalyseerd met de software Computer Expression Recognition Toolbox
(CERT). De verzamelde data met betrekking tot onbegrip en onwetendheid vormen de
onafhankelijke variabele. Het automatisch detecteren van deze data in CERT vormt de
afhankelijke variabele.
3.2.2 Opbouw database
Per participant zijn er fragmenten geselecteerd uit de gefilmde opnames. Dit is gedaan met de
software Windows Movie Maker. Uit het eerste deel van het experiment waarbij de
participanten de gemanipuleerde instructievideo’s hebben bekeken, zijn per participant vier
fragmenten geselecteerd. In de eerste situatie hebben de participanten eerst de controlevideo
over een hartaanval bekeken. Daaruit zijn twee fragmenten geselecteerd na het uitspreken van
de volgende zinnen: “Tijdens het leven ontstaan er versmallingen in de aders.” en “Een deel
van het hart krijgt geen zuurstof meer.”. Op deze momenten zijn vijf seconden beeldmateriaal
20
AUTOMATISCHE DETECTIE VAN ONBEGRIP
van de gezichtsuitdrukking van de participant geselecteerd. Dezelfde momenten zijn
geselecteerd uit de tweede situatie waarin andere participanten de manipulatievideo over een
hartaanval bekeken. Door de taalmanipulatie waren dit de momenten waarop de volgende
zinnen werden uitgesproken: “Tijdens het leven ontstaan er versmallingen in de arteria.” en
“De myocard krijgt geen zuurstof meer.”. Ook voor het onderwerp “beroerte” zijn er
fragmenten van vijf seconden geselecteerd. Uit de controlevideo was dat op de volgende
momenten: “Het slachtoffer slecht gaat zien.” en “Heel warrig spreken of denken.”. Uit de
manipulatievideo zijn de volgende gelijkwaardige fragmenten geselecteerd: “Last van diplopie
krijgt.” en “Of last krijgen van confusie.”. In tabel 1 staat het overzicht met fragmenten
weergegeven.
Tabel 1
De geselecteerde fragmenten uit de instructie en manipulatie video’s.
Situatie 1
N=8
Hartaanval controle:
Beroerte manipulatie:
“Tijdens het leven ontstaan er
“Last van diplopie krijgt.”
versmallingen in de aders.”
“Een deel van het hart krijgt geen
“Of last krijgen van confusie.”
zuurstof meer.”
Situatie 2
N=15
Beroerte controle:
Hartaanval manipulatie:
“Het slachtoffer slecht gaat zien.”
“Tijdens het leven ontstaan er
versmallingen in de arteria.”
“Heel warrig spreken of denken.”
“De myocard krijgt geen
zuurstof meer.”
Er zijn 16 fragmenten van 8 verschillende participanten geselecteerd uit de
controlevideo over een hartaanval. In situatie 1 zijn deze fragmenten vergeleken met 30
fragmenten van 15 andere participanten uit de manipulatievideo over een hartaanval. Zo zijn er
ook 16 fragmenten van 8 verschillende participanten geselecteerd uit de manipulatievideo over
een beroerte. Deze fragmenten zijn in situatie 2 vergeleken met 30 fragmenten van 15 andere
participanten uit de controlevideo over een beroerte. De selectie leverde een database op van
92 fragmenten van 5 seconden. Zie tabel 2 voor het onderscheid tussen situatie 1 en situatie 2.
21
AUTOMATISCHE DETECTIE VAN ONBEGRIP
Tabel 2
Het vergelijken van de data in twee verschillende situaties.
Situatie 1
Situatie 2
Hartaanval controle:
Hartaanval manipulatie:
16 fragmenten (N=8)
30 fragmenten (N=15)
Beroerte controle:
Beroerte manipulatie:
30 fragmenten (N=15)
16 fragmenten (N=8)
In het tweede del van het experiment werden de participanten twintig open vragen
gesteld voor de FOK paradigma. Hier zijn per participant twintig fragmenten geselecteerd. Van
het moment waarop de vraag helemaal was gesteld tot en met het moment waarop de participant
het volledige antwoord had geformuleerd. Dit leverde per participant twintig fragmenten op,
van ongelijke tijdsduur. Per vraag hebben de participanten een FOK-score gegeven op schaal
van 1 tot 7. Deze FOK-scores zijn er daarom 20 per participant, wat leidde tot een database van
460 FOK-scores met de bijbehorende 460 fragmenten.
3.2.3 Computer Expression Recognition Toolbox (CERT)
De automatische codering van gezichtsexpressies is uitgevoerd met CERT (Littlewort et al.,
2011). Aangezien CERT gebaseerd is op het FACS systeem, is het zeer geschikte software voor
het automatisch detecteren van minimale non-verbale cues in termen van Action Units (AU’s)
(Littlewort et al., 2011; Shen & Bai, 2006). De analyse van het gezicht geschiedt op basis van
Gabor filters en Fourier transformaties (Littlewort et al., 2011), die de detectie van Action Units
mogelijk maken (Littlewort et al., 2011; Bouzalmat, Zarghili & Kharroubi, 2011).
Figuur 5 geeft een schematische weergave van de vijf verwerkingsstappen van CERT.
Ieder stadium wordt weergegeven door een pijl met daaronder de naam van de verwerkingsstap.
De video data (“Input video”) vormt de input voor CERT. In de eerste gezichtsdetectie (“Face
detection”) stap bepaalt CERT de locatie van het gezicht in de video. De tweede stap is facial
feature detection (met gebruik van FACS) waarin de belangrijkste gezichtslocaties worden
gedetecteerd. De derde stap (“Face registration”) roteert en verkleint of vergroot het gezicht
zodanig dat het vergeleken kan worden met andere gezichten. In de vierde stap (“Gabor feature
extraction”) worden met behulp van Gabor filters de inputs voor classificatie berekend. Ten
slotte, worden in de vijfde stap (“Linear SVM classification”) de inputs door middel van een
Support Vector Machine (SVM) leeralgoritme afgebeeld op een AU intensiteit. Een waarde die
de intensiteit representeert van een Action Unit. De intensiteit geeft grofweg aan hoe
AUTOMATISCHE DETECTIE VAN ONBEGRIP
22
waarschijnlijk het is dat de betreffende AU aanwezig is in het videobeeld. Een negatieve
intensiteit of intensiteit van nul duiden op het niet aanwezig zijn. Een positieve intensiteit
signaleert de aanwezigheid.
Figuur 5: schematisch diagram van de Computer Expression Recognition Toolbox (CERT).
Overgenomen van (Littlewort et al., 2011).
In figuur 6 is een voorbeeld te zien uit het experiment van een gezichtsanalyse door
CERT. Het blauwe kader is het resultaat van de gezichtsdetectie. Het groene kader is de
gezichtsherkenning. Zoals te zien is in figuur 6 werd er door CERT ook rekening gehouden met
de stand van het hoofd. In dit voorbeeld staat het hoofd schuin, wat goed werd onderscheiden
door het blauwe en het groene kader. De rode vierkanten gaven de detectie van de
gezichtskenmerken weer. Hier is te zien dat CERT goed in staat is om de ogen, neus en
mondhoeken te onderscheiden. Wanneer de participant het hoofd bewoog in de video, bewogen
deze detectiepunten mee.
Figuur 6: de weergave van een gezichtsscan door CERT.
AUTOMATISCHE DETECTIE VAN ONBEGRIP
23
CERT analyseert de visuele input door middel van machine learning technieken. De
output (intensiteiten) wordt bijna real-time weergegeven in grafieken zoals getoond in figuur 7.
De getoonde output hoort bij de video uit figuur 6. CERT onderscheid de diverse AU’s en kent
hieraan waardes toe die af te lezen zijn van de gescande video’s. Zo was te zien dat de AU’s
behorend bij de wenkbrauwen verschillende intensiteiten vertonen. AU 1 inner brow raise (2.1289) en AU 2 outer brow raise (-0.9135) vertoonden duidelijk minder activiteit dan AU 4
brow lowerer (0.8406). Zoals eerder vermeld is AU 4 nauw verwant aan onbegrip (Craig et al.,
2008; McDaniel et al., 2007). Dit betekent dat de participant op deze momentopname onbegrip
kon ervaren. Neutral heeft een lage waarde van 0.02. Zoals eerder beschreven heeft een neutrale
gezichtsuitdrukking verband met een lage FOK score (Dijkstra et al., 2006). Een lage FOK
score betekent dat de participant het antwoord op de vraag niet weet. Hierdoor is in dit
voorbeeld te zien dat deze participant onbegrip of onwetendheid ervaart. Doordat de situaties
kunnen worden afgelezen in figuur 6 en 7, toont dit een interessant voorbeeld om te
onderzoeken of er een relatie tussen onbegrip en FOK bestaat.
Figuur 7: door CERT gegenereerde output behorende bij de videoscan van figuur 6.
De CERT output zoals weergegeven in figuur 6, wordt opgeslagen in data bestanden
voor post-hoc analyse. De gezichtskenmerken werden door CERT uitgedrukt in coördinaten,
action units en combinaties hiervan. De locatie van bijvoorbeeld een mondhoek wordt
uitgedrukt in een X en Y coördinaat. Indien de aan- of afwezigheid van een kenmerk of Action
AUTOMATISCHE DETECTIE VAN ONBEGRIP
24
Unit niet kan worden bepaald, genereert CERT in plaats van een getal, de output “Not a
Number” (NaN). Dit kan het geval zijn wanneer de participant niet goed in de camera heeft
gekeken waardoor bijvoorbeeld een deel van het gezicht niet goed detecteerbaar was. Het kon
ook ontstaan door de lichtval, of door beweging van de participant.
De in het experiment verzamelde NaN gegevens waren niet bruikbaar voor analyse en
werden behandeld als missing values. In bijlage C is te zien dat vraag 16 uit de FOK paradigma
van participant één alleen NaN data weergeeft. Dit betekende dat vraag 16 voor participant één
niet geschikt was voor analyse. Waarschijnlijk heeft de participant tijdens het geven van het
antwoord op deze vraag niet goed genoeg in de camera gekeken waardoor CERT geen goede
output kon genereren. Door deze ruis uit de data te filteren bleef de juiste CERT output over
voor verdere verwerking. In de CERT analyses van zowel de FOK video-opnames als de
instructievideo-opnames gaven de X en Y coördinaten van de linker en rechtermondhoek NaN
gegevens. Deze vier kenmerken zijn daarom niet meegenomen in de verdere analyse. De output
waardes van CERT zijn gemiddeld over alle frames per videofragment. In bijlage C is een
voorbeeld te zien van deze gemiddelden.
3.2.4 Machine Learning
Zoals beschreven in sectie 3.2.2, maakt CERT gebruik van de Support Vector Machine (SVM)
als machine Learning algoritme voor de analyse van de videofragmenten. Machine Learning is
een onderzoeksgebied gericht op automatische leertechnieken (Mitchell, 1997). In machine
learning algoritmen, ook wel leeralgoritmen genoemd, wordt automatisch een model getraind
of geleerd op basis van gelabelde data. Een voorbeeld van gelabelde data is de data bestaande
uit een videobeeld van fronsende wenkbrauwen en het label “AU4”. Na training wordt het
model gebruikt om niet gelabelde data te classificeren. In dit geval wordt een videobeeld
aangeboden van fronsende wenkbrauwen en genereert het model het label “AU4”.
De mate waarin een door een leeralgoritme verkregen model de juiste labels genereert voor
niet-gelabelde data wordt het generaliserend vermogen genoemd. Het generaliserend vermogen
van leeralgoritmen is het belangrijkste onderdeel van Machine Learning (Alpaydin, 2004).
Wanneer een leeralgoritme getraind wordt op de herkenning van onbegrip uit Action Units, dan
heeft het een groot generaliserend vermogen wanneer het onbegrip in nieuwe (niet eerder
geziene) video’s en personen kan herkennen.
AUTOMATISCHE DETECTIE VAN ONBEGRIP
25
3.2.5 k-NN algoritme
Een veelgebruikt algoritme in de machine learning is de k-Nearest Neighbour classifier (k-NN;
zie bijvoorbeeld (Alpaydin, 2004)). Dit is een classificatie algoritme dat niet-gelabelde data
classificeert door ze hetzelfde label te geven als de meest overeenkomstige gelabelde data. Het
k-NN algoritme is toegepast in dit onderzoek. De training set bestond uit gelabelde voorbeelden
van begrip en van onbegrip. Voor dit onderzoek is enkel k =1 gebruikt om zo de meest flexibele
modellen te genereren, waarbij k staat voor het aantal waardes in de buurt.
Om het generaliserend vermogen te bepalen werd gebruikt gemaakt van n-fold cross
validation (Witten & Frank, 2005). Met deze validatietechniek werd de dataset meerdere malen
verdeeld in test-sets en training-sets. Door eerst voor elke combinatie van test-set en dataset het
generaliserend vermogen te bepalen, kon er daarna één gemiddeld generaliserend vermogen
worden bepaald voor de complete dataset. Dit generaliserend vermogen werd daardoor
nauwkeuriger dan wanneer het werd berekend aan de hand van slechts één test-set en één
dataset.
Om het generaliserend vermogen van de training-set te optimaliseren moest voorkomen
worden dat er overfitting plaats vindt (Witten & Frank, 2005). Bij overfitting werd de trainingset overtraind op een bepaalde test-set. Hierdoor werd het generaliserend vermogen van het
algoritme op de test-set heel hoog, maar was dit resultaat niet representatief op onbekende
datasets.
4. Resultaten
4.1 Onbegrip detectie
De resultaten van het eerste deel van het experiment dat zich richtte op de automatische
classificatie van begrip versus onbegrip worden hieronder beschreven.
4.1.1 Manipulatiecheck
Het eerste gedeelte van het onderzoek bestond uit het bekijken van twee instructievideo’s. De
participanten hebben de video’s een cijfer gegeven op schaal van 1 tot 10 voor de mate van
begrip. Met deze data is een gepaarde t-toets uitgevoerd. Hieruit kon worden geconcludeerd dat
de scores van de controle (M = 8.00, SD = 1.01) en manipulatie (M = 7.92, SD = 1.04) video’s
niet significant verschilden van elkaar. Er is wel een trend waargenomen van t(21) = 1.82, p =
.08. Er is vervolgens een tweede gepaarde t-toets uitgevoerd met de cijfers die de participanten
26
AUTOMATISCHE DETECTIE VAN ONBEGRIP
gaven na het lezen van de videoscripts. De scripts van de controlevideo’s scoorden hoger op
begrip (M = 8.09, SD = .97), dan de scripts van de manipulatie video’s (M = 7.14, SD = 1.20).
Hier is een significant verschil gevonden: t(21) = 7.78, p < .001, effect-consistentie = 90%.
4.1.2 Gezichtskenmerken
Drie voorbeelden van gemeten gezichtsposities zijn: Left Eye Imp X, Left Eye Temporal Imp X,
en Mouth Left Corner X. Alle drie representeren de horizontale pixelposities van het linkeroog
en de mond. De gemiddelde posities voor de manipulatie video’s (715.30; 726.90; 710.12) en
de controle video’s (729.96; 742.26; 722.92) verschillen niet veel, hetgeen betekent dat in beide
condities de horizontale posities van de gezichten niet veel verschilden. Hierdoor zijn ze niet
diagnostisch voor begrip versus onbegrip. De twee AU’s met de gemiddelde hoogste CERT
intensiteit zijn AU 1: Inner Brow Raise en AU 14: Dimpler. Dit geldt wederom voor beide
condities. In tabel 3 staan de outputwaardes weergegeven. Voor Action Unit 4: Brow lowerer
is een klein verschil te zien tussen de gemiddelde waarneming tijdens de manipulatievideo
(0.47) en de controlevideo (0.54). Alle verschillen zijn niet significant.
Tabel 3
De meest actieve gezichtskenmerken gedetecteerd door CERT, behorend bij de controle- en
manipulatievideo’s.
Left Eye
Left Eye
Mouth Left
(AU 1) Inner
(AU 14) (AU 4) Brow
Imp X
Temporal Imp X
Corner X
Brow Raise
Dimpler
lowerer
Manipulatie
715.30
726.90
710.12
-0.85
1.10
0.47
Controle
729.96
742.26
722.92
-1.00
1.22
0.54
Verschil
14.66
15.37
12.80
0.15
0.12
0.07
De gemanipuleerde video met het onderwerp “beroerte” is door de participanten
beoordeeld als slechtst begrepen video. De controle video met het onderwerp “hartaanval” heeft
gemiddeld de hoogste score gekregen voor begrip. De gezichtsbewegingen met het grootste
verschil in outputwaardes van CERT, behorend bij deze video’s, zijn daarom met elkaar
vergeleken. Dit zijn Right Eye Imp Y, Right Eye Nasal Imp Y en Right Eye Temporal Imp Y. De
waardes staan vermeld in tabel 4. De AU’s die het grootste verschil opleveren in de output van
CERT zijn AU 23: Lip Tightener en AU 45: Blink/Eye closure. Door het verschil in deze
kenmerken tussen de manipulatie video en de controle video zijn deze kenmerken te verbinden
aan onbegrip. AU 4: Brow lowerer heeft een miniem verschil van 0.09 tussen de video’s met
de hoogste en de laagste score voor begrip.
27
AUTOMATISCHE DETECTIE VAN ONBEGRIP
Tabel 4
De meest actieve gezichtskenmerken gedetecteerd door CERT, behorend bij de controle- en
manipulatievideo’s.
(AU 4)
Right Eye
Imp Y
Right Eye
Right Eye
Nasal Imp Y Temporal Imp Y
(AU 23) Lip (AU 45) Blink/
Brow
Tightener
Eye Closure
lowerer
Manipulatie
Beroerte
Controle
Hartaanval
Verschil
386.57
385.72
387.41
1.53
-0.24
0.47
361.82
361.69
361.96
1.68
-0.37
0.56
24.75
24.04
25.45
0.15
0.13
0.09
4.1.3 k-NN classificatie
Met behulp van het k-NN algoritme (in Matlab® en in WEKA) zijn alle CERT outputs gebruikt
voor automatische classificatie. Het generaliserend vermogen bepaald met de leaving-onesubject-out validatieprocedure en k=1 resulteerde in een waarde van 68%.
In tabel 5 is de confusiematrix weergegeven behorend bij de data uit experiment 1,
toegepast op de leave one subject out analyse. Hierin is af te lezen of de automatische detectie
van onzekerheid ongeveer gelijke false positives en false negatives heeft. Het 1-NN algoritme
heeft 30 van de 44 videobeelden correct geclassificeerd als controlevideo, op basis van de nonverbale kenmerken die CERT heeft afgelezen van het gezicht van de participant. Het 1-NN
algoritme heeft 26 van de 44 videobeelden correct geclassificeerd als beelden van de
manipulatievideo.
Tabel 5
Confusiematrix met daarin de geclassificeerde FOK scores van de AR.
controle video PP
manipulatie video PP
controle video AR
30
14
manipulatie video AR
18
26
AUTOMATISCHE DETECTIE VAN ONBEGRIP
28
4.2 Feeling of Knowing detectie
De resultaten van het tweede deel van het experiment dat zich richtte op de automatische
classificatie van Feeling of Knowing (FOK) worden hieronder beschreven.
4.2.1 FOK score
Er zijn twee variaties van FOK paradigma’s afgenomen. De gemiddelde score van variatie 1 is
4.49; de gemiddelde score van variatie 2 is 5.08; op schaal van 1 tot en met 7. Er is een verschil
waargenomen van 0.59 tussen de gemiddelde scores van de twee condities. Van FOK
paradigma 1 werden de vragen 4 en 12 het meest beoordeeld met een score van 1. Vraag 20
werd het meest beoordeeld met een score van 7. Deze gegevens staan weergegeven in figuur 8.
Van FOK paradigma 2 werden de vragen 12 en 16 het meest beoordeeld met een score van 1.
De vragen 1 en 18 werden het meest beoordeeld met een score van 7. Dit is af te lezen uit figuur
9. Het is van belang om hier op te merken dat de vragen van de twee variaties niet aan elkaar
gelijk zijn.
Figuur 8: Vragen met een FOK score van 1 en 7, in FOK versie 1.
29
AUTOMATISCHE DETECTIE VAN ONBEGRIP
Figuur 9: Vragen met een FOK score van 1 en 7, in FOK versie 2.
4.2.2 Gezichtskenmerken
Tabel 6 toont drie voorbeelden van positievariabelen, Right Eye Imp Y, Right Eye Nasal Imp Y,
en Left Eye Nasal Imp Y. De verschillen in deze verticale posities voor FOK1 en 7 zijn niet
significant. De Action Units met het grootste gemiddelde verschil tussen dezelfde twee FOK
scores waren AU 1: Inner Brow Raise en AU 2: Outer Brow Raise. Action Unit 4 is ook
weergegeven in de tabel. Daaruit is af te lezen dat er hiervoor een klein gemiddeld verschil,
tussen FOK scores 1 en 7, van 0.05 is gedetecteerd door CERT. Voor alle verschillen geldt dat
ze niet significant zijn.
Tabel 6
De meest actieve gezichtskenmerken gedetecteerd door CERT, behorend bij de vragen met de meest
uitgesproken FOK scores van 1 en 7.
(AU 4)
Right Eye
Right Eye
Left Eye
(AU 1) Inner (AU 2) Outer
Brow
Imp Y
Nasal Imp Y
Nasal Imp Y
Brow Raise
Brow Raise
lowerer
FOK7
368.20
367.69
367.05
-0.73
-0.24
0.40
FOK1
356.28
355.67
355.06
-0.89
-0.40
0.45
Verschil
11.92
12.02
11.99
0.16
0.16
0.05
Tabel 7 geeft dezelfde resultaten voor de hoge FOK waarden (5,6, en 7) en de lage FOK
waarden (1,2,3, en 4). Ook hier zijn de verschillen niet significant.
30
AUTOMATISCHE DETECTIE VAN ONBEGRIP
Tabel 7
De gezichtskenmerken met de hoogste output van CERT verdeeld in hoge en lage FOK scores.
(AU 4)
Left Eye
Left Eye
Mouth Left
(AU 15) Lip
(AU 20)
Imp X
Temporal Imp X
Corner X
727.32
739.69
721.58
2.55
1.9
0.41
733.35
745.68
727.04
2.61
1.87
0.43
6.03
5.99
5.46
0.06
0.03
0.02
Corner Depressor Lip stretch
Brow
lowerer
Hoge FOK
(5,6,7)
Lage FOK
(1,2,3,4)
Verschil
Samenvattend blijkt uit deze resultaten dat de afzonderlijke gezichtskenmerken geen
significante verschillen laten zien voor hoge versus lage FOK scores.
4.2.3 k-NN classificatie
Het 1-NN algoritme getraind op de CERT data van het FOK experiment classificeerde iedere
video op 1 van de 7 FOK klassen. Dit leverde een leaving-one-subject-out prestatie op van 35%.
In tabel 8 is een confusiematrix weergegeven. Hierin is af te lezen of de AR een goede
classificatie heeft gemaakt voor de FOK score op basis van de outputwaardes van CERT. Op
de horizontale regels staan de scores die de AR heeft geclassificeerd voor de FOK scores één
tot en met zeven die zijn gegeven door de participanten (PP). Op de eerste regel geeft de AR de
hoogste score voor FOK1PP. Dit is de correcte classificatie. Op regel twee geeft de AR de
hoogste score voor FOK7PP, dit is niet correct. De hoogste classificatie zou hier moeten zijn
weergegeven bij FOK2PP. Door deze diagonale lijn door te trekken worden de classificaties
van de AR weergegeven. Deze diagonaal eindigt bij de classificatie op regel FOK 7 AR waarbij
de AR de hoogste score geeft voor FOK 7 PP. Dit is dus een correcte classificatie. Hieruit is op
te maken dat de AR de correcte classificaties heeft gedaan voor de FOK scores één en zeven.
De CERT outputwaardes sluiten hierop aan. Hieruit bleek dat de gezichtskenmerken gedurende
FOK scores één en zeven ook het meest duidelijk te detecteren waren.
31
AUTOMATISCHE DETECTIE VAN ONBEGRIP
Tabel 8
Confusiematrix met daarin de geclassificeerde FOK scores van de AR
FOK1
FOK 2
FOK3
FOK 4
FOK 5
FOK 6
FOK 7
PP
PP
PP
PP
PP
PP
PP
FOK 1 AR
35
0
6
4
11
12
29
FOK 2 AR
0
1
0
1
0
0
3
FOK 3 AR
6
0
0
0
1
2
0
FOK 4 AR
3
0
0
1
2
2
14
FOK 5 AR
14
1
1
1
7
5
19
FOK 6 AR
16
1
3
2
1
7
12
FOK 7 AR
44
4
4
19
24
18
104
Tabel 9 is de confusiematrix voor hoge en lage FOK scores. Hierbij geeft de AR enkel
de classificatie of de score laag: FOK1 tot en met FOK4, of hoog is: FOK5 tot en met FOK 7.
FOK1 en FOK7 krijgen de hoogste score, zowel absoluut als percentueel. Hieruit is af te lezen
dat de AR de extreme waarden het beste classificeert.
Tabel 9
Confusiematrix met classificatie van de AR in hoge en lage FOK scores verdeeld
AR Laag (1 t/m4)
In procenten
AR Hoog (5t/m7)
In procenten
FOK1
FOK 2
FOK3
FOK 4
FOK 5
FOK 6
FOK 7
44
1
6
6
14
16
46
37.3%
14.3%
42.9%
21.4%
30.4%
74
6
8
22
32
62.7% 85.73%
57.1%
78.6%
69.6%
34.8%
30
65.2%
25.4%
135
74.6%
De confusiematrix laat zien dat de classificatie van het algoritme beter is gedaan voor
de hoge FOK scores. Dit is verklaarbaar doordat de classificatie volgens deze resultaten altijd
hoger ligt dan de daadwerkelijke FOK score. Wanneer de FOK score hoger wordt komt deze
dus dichter bij het hoge percentage van de algoritme.
32
AUTOMATISCHE DETECTIE VAN ONBEGRIP
5. Discussie
5.1 Verwachting van het onderzoek
Op basis van de onderzochte bestaande literatuur is de eerste onderzoeksvraag geformuleerd:
“In hoeverre is het mogelijk om onbegrip automatisch te detecteren aan de hand van
gezichtsuitdrukkingen?”. Het gezicht is namelijk de belangrijkste informatiebron voor het
aflezen van een gemoedstoestand (Grafsgaard, Boyer, Philips & Lester, 2011; Knapp & Hall,
2006). Met name de beweging van de wenkbrauwen is interessant voor de detectie van
onbegrip. Eerder onderzoek wijst uit dat er een correlatie bestaat tussen onbegrip en de
beweging van de wenkbrauw (Craig et al., 2008; McDaniel et al., 2007; Pope & Smith, 1994).
Door deze uitkomsten van eerdere onderzoeken was de verwachting dat het mogelijk moet zijn
om onbegrip automatisch te detecteren aan de hand van gezichtsuitdrukkingen. Om het gezicht
af te lezen is gebruik gemaakt van FACS; dit is het meest nauwkeurige systeem voor het
detecteren van gezichtsbewegingen (Ekman & Friesen, 1978). Om het annotatieproces te
automatiseren is CERT gebruikt, een applicatie die op basis van FACS werkt en is daardoor
uitermate geschikt voor de automatische detectie van gezichtsuitdrukkingen (Littlewort et al.,
2011).
De tweede onderzoeksvraag heeft betrekking op de relatie van onbegrip en FOK: “Kan
er
een
relatie
worden
aangetoond
tussen
onbegrip
en
FOK
op
basis
van
gezichtsuitdrukkingen?”. Er werd een relatie verwacht tussen deze concepten op basis van
uitkomsten van eerdere onderzoeken. Onzekerheid en onbegrip worden beide veroorzaakt door
een gebrek aan kennis (Powell et al., 2007). De non-verbale signalen die worden geuit tijdens
een FOK experiment worden dan ook gerelateerd aan signalen van onzekerheid (Swerts &
Krahmer, 2005). Wanneer participanten tijdens een FOK experiment lage FOK scores gaven,
een blijk van onzekerheid, resulteerde dit in meer expressiviteit (Visser et al., 2013). Een aantal
belangrijke non-verbale signalen van deze onzekerheid zijn bewegingen van de wenkbrauwen
en mondhoeken (Swerts et al., 2003). Dezelfde gezichtsonderdelen zijn actief tijdens het uiten
van het gevoel van onbegrip (Craig et al., 2008; McDaniel et al., 2007). Door deze diverse
overeenkomsten werd er een relatie verwacht tussen onbegrip en FOK.
AUTOMATISCHE DETECTIE VAN ONBEGRIP
33
5.2 Uitkomsten van het onderzoek
5.2.1 Onbegrip
In het eerste deel van het experiment werd er geen effect gevonden met betrekking tot de
gemiddelde intensiteit van AU4. Dit is een opvallend resultaat omdat er een relatie werd
verwacht tussen (met name) AU 4 en onbegrip. In een eerder onderzoek hebben Pope en Smith
(1994) een verband aangetoond tussen het “fronsen van de wenkbrauwen” en verwarring en
onbegrip. De resultaten uit dit onderzoek wijzen wel uit dat AU 1: Inner Brow Raise en AU 2:
Outer Brow Raise belangrijk zijn voor de detectie van onzekerheid. Het “fronsen van de
wenkbrauwen” kan dan ook betrekking hebben op AU 1, AU 2 en AU 4 samen. Indien dat zo
is, komen de resultaten uit beide onderzoeken gedeeltelijk overeen.
De combinatie van de CERT variabelen leverde middels het 1-NN algoritme met de
leave one subject out methode een score op van 68%. De combinatie van meerdere variabelen
leverde ook betere voorspellingen op dan van de afzonderlijke variabelen. Dit impliceert dat
automatische herkenning van onbegrip tot op zekere hoogte mogelijk is.
5.2.2 Feeling of Knowing
In het tweede deel van het experiment waren de gezichtskenmerken die het grootste verschil in
output waardes van CERT hadden: AU 1 (Inner Brow Raise) en AU 2 (Outer Brow Raise). Het
zijn beide AU’s die betrekking hebben op de beweging van de wenkbrauw, maar ook tijdens
dit experiment was er geen verband te leggen tussen onzekerheid en AU 4: Brow lowerer.
De outputwaardes van CERT zijn gebruikt door het 1-NN algoritme om een
voorspelling te doen van de FOK scores 1 tot en met 7. Het algoritme behaalde een score van
35% correcte voorspellingen. Deze relatief lage score betekent dat het niet goed gelukt is om
de FOK scores automatisch te detecteren aan de hand van non-verbale signalen. Dit was
weliswaar geen onderdeel van de onderzoeksvraag, maar wel interessant in het kader van de
vergelijking met de automatische detectie van onbegrip.
De relatie tussen FOK en onbegrip werd verwacht doordat de signalen die worden geuit
tijdens onderzoek naar FOK in verband worden gebracht met onzekerheid (Swerts & Krahmer,
2005). Tijdens het onderzoek hebben we twee non-verbale signalen gevonden die beide
betrekking hebben op de uiting van onbegrip en onzekerheid. Deze twee signalen zijn een begin
om een verband te leggen tussen de uiting van onbegrip en onzekerheid, maar nog niet
voldoende om een conclusie uit te trekken.
AUTOMATISCHE DETECTIE VAN ONBEGRIP
34
5.3 Beperkingen en aanbevelingen
Gedurende het onderzoek zijn er een aantal factoren opgetreden die van invloed kunnen zijn
geweest op de resultaten. De data is gemiddeld per video fragment. Dit betekent dat
idiosyncratische kenmerken buiten beschouwing zijn gevallen. Deze kenmerken zouden
eventueel de data analyse hebben kunnen beïnvloeden wanneer het tijdsverloop zichtbaar zou
zijn geweest. Bij voldoende participanten had er een mogelijkheid kunnen zijn om diverse
expressietypen te onderscheiden op basis van de idiosyncratische kenmerken. Tijdens de
videofragmenten van het tweede deel van het experiment werd er gepraat door de participanten.
Door de data hiervan te middelen kan de beweging van het praten invloed hebben uitgeoefend
op de waardes van de gedetecteerde gezichtskenmerken.
CERT heeft voor een aantal gezichtskenmerken geen goede detectie kunnen uitvoeren.
Dit leverde NaN’s (Not a Number) op, die niet te analyseren waren. Dit kan veroorzaakt zijn
doordat de video opname van onvoldoende kwaliteit was. Er is geprobeerd zo goed mogelijk te
voldoen aan de condities om CERT een goede input te leveren, maar dit is niet volledig gelukt.
Een gedeelte van de video opnames vond plaats in de woonkamer van de participanten. Dit
zorgde voor de participant voor minder stress, maar hierdoor was de achtergrond op de
videobeelden niet altijd neutraal. De diverse achtergronden hebben ook gezorgd voor NaN’s.
Vervolg onderzoek zou wellicht beter kunnen plaats vinden in een geschiktere
onderzoeksruimte voor betere CERT detectie.
Het algoritme behaalde een lage score met de data van experiment twee. Wat invloed
zou hebben kunnen uitoefenen op de data is het gegeven dat de fragmenten van het tweede deel
van het experiment van ongelijke tijdsduur zijn. Doordat de participanten vrij antwoord geven
op de gestelde vraag zijn er zowel korte als lange fragmenten geanalyseerd. Tijdens een langer
fragment zijn er meer gezichtsuitdrukkingen te detecteren dan gedurende een kort fragment.
5.4 Vervolgonderzoek
Een van de punten die kan worden meegenomen tijdens vervolgonderzoek is het onderscheid
tussen detectie van onbegrip en desinteresse of verveling. Uit onderzoek van Baker, D'Mello,
Rodrigo, & Graesser (2010) blijkt dat verveling en onbegrip vaak samen voorkomen tijdens het
studeren. Om de vicieuze cirkel te doorbreken waarin studenten soms terecht komen is het
detecteren van onbegrip belangrijk. Dit onderzoek naar de detectie van onbegrip sluit hier goed
bij aan. De relatie die Baker et al. (2010) hebben gevonden tussen verveling en onbegrip kan
bijdragen aan vervolgonderzoek naar automatische detectie van onbegrip. Het is van belang om
AUTOMATISCHE DETECTIE VAN ONBEGRIP
35
deze twee condities goed te onderscheiden. De invloed van verveling is nu niet meegenomen
in dit onderzoek.
Daarnaast werd eerder aangetoond dat visuele non-verbale signalen belangrijker zijn
voor de detectie van onbegrip en onzekerheid dan auditieve non-verbale signalen (Van
Amelsvoort, Joosten, Krahmer, & Postma, 2013). Auditieve signalen zijn niet meegenomen in
dit onderzoek, maar zouden toch van belang kunnen zijn om onbegrip en onzekerheid beter te
detecteren. Wanneer auditieve en visuele signalen beide worden gedetecteerd kan de
automatische detectie wellicht een beter slagingspercentage geven. Dit vermoeden is ontstaan
doordat er gedurende de FOK video’s is gepraat door de participanten. Dit heeft ook de visuele
non-verbale signalen beïnvloed, door de gezichtsbeweging die veroorzaakt werd door het
praten.
De leeftijd en medische conditie van de participanten van dit onderzoek is een
belangrijke factor geweest voor de mate van onbegrip. Er is meer onderzoek gedaan naar
onbegrip onder ouderen, bijvoorbeeld naar een delirium. Het vaststellen van een delirium is
geen eenvoudige taak, hiervoor zijn professionele zorgverleners nodig (Zou et al., 1998).
Wanneer automatische detectie van onbegrip hierin zou kunnen ondersteunen kan het
vaststellen wellicht eenvoudiger worden. Het is belangrijk om het onderscheid te kunnen maken
tussen het niet begrijpen van de test en daarom laag scoren, en het hebben van een delirium en
daarom laag scoren. Vervolg onderzoek naar delirium detectie en onbegrip detectie kan daarom
bijdragen aan het onderzoek van Zou et al. (1998) en González et al. (2004).
Naast onderzoek naar deliria kan de detectie van onbegrip ook bijdragen aan onderzoek
naar geheugenverlies. Eerder onderzoek naar geheugenverlies en het syndroom van Korsakov
is gedaan met behulp van FOK (Shimamura & Squire, 1986). Hieruit bleek dat FOK een goede
methode is om onderscheid te kunnen maken in de verschillende vormen van geheugenverlies.
Toekomstig onderzoek naar geheugenverlies kan een combinatie zijn van FOK onderzoek en
onbegrip detectie. Naar mate mensen ouder worden ervaren zij steeds meer problemen met het
geheugen, wat kan leiden tot onbegrip (Prull, Gabrieli, & Brunge, 2000). Het is belangrijk om
hier goed onderscheid in te kunnen maken om de juiste diagnoses te stellen.
AUTOMATISCHE DETECTIE VAN ONBEGRIP
36
6. Conclusies
Deze conclusiesectie bestaat uit drie onderdelen waarin, respectievelijk onderzoeksvragen 1 en
2 worden beantwoord en toekomstig onderzoek wordt geschetst.
6.1 Onderzoeksvraag 1
De eerste onderzoeksvraag luidde als volgt: “In hoeverre is het mogelijk om onbegrip
automatisch te detecteren aan de hand van gezichtsuitdrukkingen?”. Op basis van gemeten
AU’s kan onbegrip in 68% van de niet eerder geziene gevallen worden gedetecteerd. De Action
Units AU 23: Lip Tightener en AU 45: Blink/Eye closure vormen cues voor de detectie van
onbegrip. Hoewel de prestatie ruim boven kansniveau is, vergt succesvolle toepassing in de
praktijk nader onderzoek.
6.2 Onderzoeksvraag 2
De tweede onderzoeksvraag betrof een mogelijke correlatie tussen onbegrip en Feeling of
Knowing: “Kan er een relatie worden aangetoond tussen onbegrip en FOK op basis van
gezichtsuitdrukkingen?”. Er zijn diverse overeenkomsten en verschillen gevonden tussen het
onderzoek naar onbegrip en FOK. Een directe correlatie kon niet worden aangetoond. De
automatische detectie van FOK score was correct in 35% van de gevallen.
6.3 Toekomstig onderzoek
De in deze scriptie beschreven resultaten bieden aanknopingspunten voor de verdere
ontwikkeling van automatische herkenning van onbegrip en Feeling of Knowing. Toekomstig
onderzoek zou gebruik kunnen maken van een groter aantal participanten en een grotere variatie
van onbegrip manipulaties. Wellicht dat hiermee de automatische voorspelling van onbegrip en
FOK op een hoger niveau gebracht kunnen worden, zodanig dat praktische toepassing in de
medische communicatie mogelijk wordt.
37
AUTOMATISCHE DETECTIE VAN ONBEGRIP
Referenties
Alpaydin, E. (2004). Introduction to Machine Learning, The MIT Press.
Van Amelsvoort, M., Joosten, B., Krahmer, E., & Postma, E. (2013). Using non-verbal cues to
(automatically)
assess
children’s
performance
difficulties
with
arithmetic
problems. Computers in Human Behavior, 29(3), 654-664.
Armerman, J. and Parnell, M. Speech timing strategies in elderly adults. Journal of
Phonetics. 1992; 20: 65–76
Baker, R. S., D'Mello, S. K., Rodrigo, M. M. T., & Graesser, A. C. (2010). Better to be frustrated
than bored: The incidence, persistence, and impact of learners’ cognitive–affective
states
during
interactions
with
three
different
computer-based
learning
environments. International Journal of Human-Computer Studies, 68(4), 223-241.
Barkhuysen, P., Krahmer, E., & Swerts, M. (2005). Problem detection in human – machine
interactions based on facial expressions of users. Speech Communication 45 (2005)
343–359.
Bouzalmat, Zarghili, Kharroubi, (2011). Facial Face Recognition Method using Fourier
Transform Filters Gabor and R_LDA. International Conference on Intelligent Systems
and Data Processing (ICISD) 2011 Proceedings published by International Journal of
Computer Applications® (IJCA).
Brennan, S. E., & Williams, M. (1995). The Feeling of Another′ s Knowing: Prosody and
Filled Pauses as Cues to Listeners about the Metacognitive States of Speakers. Journal
of memory and language, 34(3), 383-398.
Cohn, J. F., Zlochower, A. J., Lien, J., & Kanade, T. (1999). Automated face analysis by
feature point tracking has high concurrent validity with manual FACS
coding. Psychophysiology, 36(1), 35-43.
Van Cott M.L. (1993) Communicative competence during nursing admission interviews of
elderly patients in acute care settings. Qualitative Health Research 3(2), 184-208.
Craig, S. D., D'Mello, S., Witherspoon, A., and Graesser, A. (2008). Emote aloud during
learning with AutoTutor: Applying the Facial Action Coding System to cognitive–
affective states during learning. Cognition and Emotion, 22(5), 777-788.
The-Crankshaft Publishing. (g.j.) FACS action units (AU) [Afbeelding van internet].
Overgenomen van http://what-when-how.com/face-recognition/facial-expressionrecognition-face-recognition-techniques-part-1/
Dijkstra, C., Krahmer, E. J., & Swerts, M. (2006). Manipulating uncertainty: The contribution
AUTOMATISCHE DETECTIE VAN ONBEGRIP
38
of different audiovisual prosodic cues to the perception of confidence. Proceedings of
Speech Prosody 2006.
Ekman, P., Friesen, W. (1978). Facial Action Coding System: A Technique for the
Measurement of Facial Movement. Palo Alto, Calif: Consulting Psychologists Press.
González, M. D. P. J., De Pablo, J., Fuente, E., Valdes, M., Peri, J. M., Nomdedeu, M., &
Matrai, S. (2004). Instrument for detection of delirium in general hospitals: adaptation
of the confusion assessment method. Psychosomatics, 45(5), 426-431.
Grafsgaard, J. F., Wiggins, J. B., Boyer, K. E., Wiebe, E. N., & Lester, J. C. (2013).
Automatically Recognizing Facial Expression: Predicting Engagement and
Frustration. In Proceedings of the 6th International Conference on Educational Data
Mining.
Grafsgaard, J. F., Boyer, K. E., Phillips, R., & Lester, J. C. (2011). Modeling confusion: facial
expression, task, and discourse in task-oriented tutorial dialogue. Artificial Intelligence
in Education (pp. 98-105). Springer Berlin Heidelberg.
Hall, J.A., Roter, D.L., Blanch, D.C. and Frankel, R.M. (2009). Nonverbal Sensitivity in
Medical Students: Implications for Clinical Interactions. Journal of General
Internal Medicine. November 2009, Volume 24, Issue 11, pp 1217-1222
Hart, J. T. (1965). Memory and the feeling-of-knowing experience. Journal of educational
psychology, 56(4), 208-216.
Hendriks, A.C., Kool, W., Oosterlee, A., Reidsma, Y.M. and Rieter, L.S. (2006). Relatie arts
patiënt. Gezondheidsrecht. pp 13-46.
Houts P., Doak C. and Loscalzo M. (2006). The role of pictures in improving health
communication: A review of research on attention, comprehension, recall, and
adherence. Patient Educ Couns. 61:173–90.
Jack, R. E., Blais, C., Scheepers, C., Schyns, P. G., & Caldara, R. (2009). Cultural confusions
show that facial expressions are not universal. Current Biology, 19(18), 1543-1548.
Kaplan, S. H., Gandek, B., Greenfield, S., Rogers, W., & Ware, J. E. (1995). Patient and visit
characteristics related to physicians' participatory decision-making style: results from
the Medical Outcomes Study. Medical care, 1176-1187.
Kent, R., Burkard, R., 1981. Changes in the acoustic correlates of speech production. In:
Beasley, D., Davis, G. (Eds.), Aging: Communication Process and Disorders. Grune and
Stratton Press, New York, pp. 47–62.
Knapp, M. L., & Hall, J. A. (2006). Nonverbal communication in human interaction. Belmont,
CA: Wadsworth/Thomson Learning.
AUTOMATISCHE DETECTIE VAN ONBEGRIP
39
Krahmer, E. en Swerts, M. (2005). Audiovisual prosody and feeling of knowing. Journal of
Memory and Language, Elsevier.
Krahmer, E. & Swerts, M. (2005). How children and adults produce and perceive uncertainty
in audiovisual speech. Language and Speech, 48 (1), 29-53.
Kopp, P. (2001). Better communication with older patients. Professional nurse (London,
England), 16(8),
1296-1299.
Koriat, A. (1993). How do we know that we know? The accessibility model of the feeling of
knowing. Psychological review, 100(4), 609.
Littlewort, G., Whitehill, J., Wu, T., Fasel, I., Frank, M., Movellan, J., and Bartlett, M.
(2011). The computer expression recognition toolbox (CERT). In Automatic Face &
Gesture Recognition and Workshops (FG 2011), 2011 IEEE International Conference
on (pp. 298-305) IEEE.
Lubinski, R., & Welland, R. J. (1997, May). Normal aging and environmental effects on
communication. In Seminars in speech and language (Vol. 18, No. 02, pp. 107-126). ©
1997 by Thieme Medical Publishers, Inc..
McDaniel, B. T., D’Mello, S. K., King, B. G., Chipman, P., Tapp, K., & Graesser, A. C.
(2007). Facial features for affective state detection in learning environments.
Proceedings of the 29th Annual Cognitive Science Society (pp. 467-472).
Mitchell, T.M. (1997). Machine Learning. McGraw-Hill.
Park, E.K.; Song, M; Communication barriers perceived by older patients and nurses,
International Journal of Nursing Studies 42 (2005) 159–166
Perrotin, A., Isingrini, M., Souchay, C., Clarys, D., & Taconnat, L. (2006). Episodic feelingof-knowing accuracy and cued recall in the elderly: Evidence for double dissociation
involving executive functioning and processing speed. Acta psychologica, 122(1), 5873.
Pinto, D. (2004). Interculturele communicatie, conflicten en management. Bohn Stafleu van
Loghum.
Pope, L. K., & Smith, C. A. (1994). On the distinct meanings of smiles and frowns. Cognition
& Emotion, 8(1), 65-72.
Postma, E.O. (2013). Inleiding Machine Learning. Tilburg University.
Powell, M., Dunwoody, S., Griffin, R., & Neuwirth, K. (2007). Exploring lay uncertainty
about an environmental health risk. Public understanding of science, 16(3), 323-343.
Prizant, B.M., & Schuler, A.L. (1987). Facilitating communication: Theoretical foundations.
AUTOMATISCHE DETECTIE VAN ONBEGRIP
40
In D. Cohen & A. Donnellan (Eds.), Handbook of autism and pervasive developmental
disorders (pp. 316-332). New York: John Wiley & Sons.
Prull, M. W., Gabrieli, J. D. E., & Brunge, S. A. (2000). Memory and aging: a cognitive
neuroscience perspective. In F. I. M. Craik & T. A. Salthouse (Eds.), The handbook of
aging and cognition (2nd ed., pp. 1–90). Mahwah, NJ: Erlbaum.
Reder, L.M., Ritter, F.E. (1992). What determines initial feeling of knowing? Familiarity with
question terms, not with the answer. Journal of Experimental Psychology: Learning,
Memory, and Cognition, Vol 18(3), May 1992, 435-451. doi:10.1037/02787393.18.3.435
Rost, K., & Roter, D. (1987). Predictors of recall of medication regimens and recommendations
for lifestyle change in elderly patients. The Gerontologist,27(4), 510-515.
Rozin, P., & Cohen, A.B. (2003). High frequency of facial expressions corresponding to
confusion, concentration, and worry in an analysis of naturally occurring facial
expressions of Americans. Emotion, 3, 68-75.
Shen, L., & Bai, L. (2006). A review on Gabor wavelets for face recognition. Pattern analysis
and applications, 9(2-3), 273-292.
Shimamura, A. P., & Squire, L. R. (1986). Memory and metamemory: a study of the feelingof-knowing phenomenon in amnesic patients. Journal of Experimental Psychology:
Learning, Memory, and Cognition, 12(3), 452.
Souchay, C., Moulin, C. J., Clarys, D., Taconnat, L., & Isingrini, M. (2007). Diminished
episodic memory awareness in older adults: Evidence from feeling-of-knowing and
recollection. Consciousness and cognition, 16(4), 769-784.
Swerts, M., & Krahmer, E. (2005). Audiovisual prosody and feeling of knowing. Journal of
Memory and Language, 53(1), 81-94.
Swerts, M., Krahmer, E., Barkhuysen, P., Van de Laar, L. (2003). Audiovisual cues to
uncertainty. In: Proc. ISCA Workshop on Error Handling in Spoken Dialogue
Systems, Chateau-d'Oex, Switzerland.
Van Weert J., Jansen J. and Van Dulmen, S. In gesprek met ouderen. Huisarts en Wetenschap
2012;55(4):174-7.
van Weert, J., Jansen, J., Spreeuwenberg, P. M., van Dulmen, S., & Bensing, J. M. (2011).
Effects of communication skills training and a Question Prompt Sheet to improve
communication with older cancer patients: A randomized controlled trial. Critical
reviews in oncology/hematology, 80(1), 145-159.
Vinciarelli, A. and Salamin, H. (2009) Social Signal Processing: Understanding social
AUTOMATISCHE DETECTIE VAN ONBEGRIP
41
interactions through nonverbal behavior analysis. Universiteit Twente. 978-1-42443993-5/09/$25.00 ©2009 IEEE
Vinciarelli, A., Pantic, M., Bourlard, H. & Pentland, A. (2008). Social Signal Processing:
State-of-the-Art and Future Perspectives of an Emerging Domain. MM’08, October
26–31, 2008, Vancouver, British Columbia, Canada.
Visser, M. (2013) Ontwerp FOK vragenlijst; versie voor ouderen.
Visser, M., Krahmer, E., & Swerts, M. (2013). Children’s Expression of Uncertainty in
Collaborative and Competitive Contexts. Language and speech, 0023830913479117.
Wanzer M.B., Booth-Butterfield M. and Gruber K. Perceptions of health care providers’
communication: relationships between patient-centered communication and
satisfaction. Health Communication. 2004;16:363-383.
van Weert, J., Jansen, J., Spreeuwenberg, P. M., van Dulmen, S., & Bensing, J. M. (2011).
Effects of communication skills training and a Question Prompt Sheet to improve
communication with older cancer patients: A randomized controlled trial. Critical
reviews in oncology/hematology, 80(1), 145-159.
Witten, I.H., Frank, E., Hall, M.H. (2005). Data Mining; Practical Machine Learning Tools
and Techniques. Morgan Kaufmann Publishers.
Zou, Y., Cole, M. G., Primeau, F. J., McCusker, J., Bellavance, F., & Laplante, J. (1998).
Detection and diagnosis of delirium in the elderly: psychiatrist diagnosis, confusion
assessment method, or consensus diagnosis? International Psychogeriatrics, 10(03),
303-308.
AUTOMATISCHE DETECTIE VAN ONBEGRIP
42
8. Bijlages
Bijlage A: Scripts video’s
Wat is een beroerte/CVA en wat zijn de symptomen?
Bij een beroerte/CVA gaat er iets mis met de bloedcirculatie in de hersenen. Een beroerte/CVA
kan op twee manieren voorkomen. De eerste vorm van een beroerte/CVA is een
hersenbloeding. Er is dan sprake van een lek in een bloedvat in de hersenen/cerebrovasculair
lek. Zo’n lek kan ontstaan door een zwakke plek in de wand van een bloedvat. Er kan nu bloed
de hersenen instromen.
De andere vorm van een beroerte/CVA is een herseninfarct. Dit komt het meeste voor.
Er is op zo’n moment sprake van een bloedprop die een ader/arteria verstopt of van een
ader/arteria die dicht geslibd is. Hierdoor krijgt een deel van de hersenen te weinig bloed.
Het slachtoffer kan tijdens een beroerte/CVA aan één zijde van het lichaam of aan het gezicht
verlamd raken. Bij een verlamming in het gezicht gaat de mond vaak schuin staan. Verder kan
het zijn dat het slachtoffer slecht gaat zien/last van diplopie krijgt en erg duizelig wordt. Ten
slotte kan het slachtoffer ernstige/acute hoofdpijn krijgen of heel warrig spreken of denken/last
krijgen van confusie.
Het kan voorkomen dat een slachtoffer van een beroerte/CVA komt te overlijden. Het
kan ook zijn dat het slachtoffer de beroerte/CVA overleeft. Het is wel zo dat het lichamelijke
en geestelijke gevolgen heeft voor de patiënt. Mensen kunnen last krijgen van het lichaam,
bijvoorbeeld doordat zij verlamd raken/in een staat van paralyse komen of incontinent raken.
Maar mensen kunnen ook emotioneel veranderen. Zij kunnen bijvoorbeeld depressief raken.
Ten slotte kan een beroerte/CVA gevolgen hebben voor de cognitie. Hiermee bedoelen we dat
het slachtoffer bijvoorbeeld vergeetachtig kan worden of trager gaat denken.
Het is van belang om snel te handelen als iemand een beroerte/CVA krijgt, omdat de
hersenen maar een korte tijd zonder zuurstof kunnen. Dit kan ernstige gevolgen hebben voor
de patiënt. Vooral wanneer de eerder genoemde symptomen eerder zijn voorgekomen, is het
erg belangrijk om een beroerte/CVA te herkennen. Wanneer u een beroerte/CVA herkent,
handel dan direct, en bel 112. Op die manier kunnen de hulpdiensten snel gewaarschuwd
worden.
43
AUTOMATISCHE DETECTIE VAN ONBEGRIP
Wat is een hartaanval /hartinfarct en wat zijn de symptomen?
Tijdens uw leven ontstaan er versmallingen in uw aders/arteriea. U merkt daar meestal helemaal
niets van. Zo’n vernauwing kan echter ook ontstaan in de kransslagaders. Deze aders/arteriae
zorgen voor de bloedtoevoer/bloedcirculatie naar uw hart. Wanneer zo’n vernauwing/stenose
ontstaat in een kransslagader, kunnen er scheurtjes en wondjes ontstaan in de wand van de
ader/arteria. Het bloed dat door de ader/arteria stroomt, probeert deze scheurtjes te dichten met
een bloedpropje. Het gevaar is alleen dat zo’n bloedprop kan losraken en ergens in de
ader/arteria kan blijven steken.
Doordat het bloedpropje blijft steken in de ader/arteria, wordt het bloed tegen gehouden
en kan het niet verder doorstromen/zo ontstaat er accumulatie. Op zo’n moment is er sprake
van een hartaanval/hartinfarct. Een deel van het hart/myocard (hartspier) krijgt geen zuurstof
meer en werkt/functioneert daarom niet meer. Dit gedeelte zal uiteindelijk afsterven. Hierdoor
werkt/functioneert het hart niet goed meer.
De meest voorkomende klacht/symptoom bij een hartaanval/hartinfarct is een
beklemmende of drukkende pijn midden op de borst, schouders of kaken. Vaak heeft het
slachtoffer ook last van misselijkheid en zweten. Daarnaast kan het slachtoffer kortademig en
duizelig raken en angstig of onrustig worden. Wanneer er sprake is van een zware
hartaanval/hartinfarct,
kan
het
slachtoffer
binnen
enkele
seconden
tot
minuten
bewusteloos/comateus raken. Het gevolg hiervan kan zijn dat het slachtoffer overlijdt.
De gevolgen na een hartaanval/hartinfarct kunnen verschillen per persoon. Dit hangt af
van hoe groot de beschadiging van het hart is en waar het hart beschadigd is. Wanneer de patiënt
weer thuis is, begint het revalideren. Samen met een arts kan een schema worden gemaakt met
wat de patiënt wel en niet mag doen. Een voorbeeld is dat hij of zij moet gaan sporten.
Het is erg belangrijk om een hartaanval/hartinfarct te herkennen. Iemand die een
hartaanval/hartinfarct krijgt, raakt bewusteloos/comateus. Het slachtoffer reageert niet meer
wanneer hij of zij aangesproken wordt. Wanneer u een hartaanval/hartinfarct herkent, handel
dan direct, en bel 112 zodat de hulpdiensten snel gewaarschuwd worden.
AUTOMATISCHE DETECTIE VAN ONBEGRIP
Bijlage B: Vragenlijst FOK ouderen
Versie 1
1. Hoeveel is een dozijn?
2. Hoe heet de langstlopende Nederlandse soapserie?
3. Welke voetbalclub speelt in het Philips stadion in Eindhoven?
4. Wie schreef het boek “Ontdekking van de hemel”?
5. Wat is de hoogste berg van de Alpen?
6. Hoeveel graden zitten er in een cirkel?
7. Waar wordt glas van gemaakt?
8. Wat is een Friese doorloper?
9. Wie is het staatshoofd van Vaticaanstad?
10. Wat is de hoofdstad van Zwitserland?
11. Welke ziekte werd in de middeleeuwen de zwarte dood genoemd?
12. Wat is de geheime naam van de Mexicaan Don Diego de la Vega?
13. Hoeveel maanden heeft de maan nodig om rond de aarde te cirkelen?
14. Wat wordt bedoeld met het woord “Jihad”?
15. Welk Bijbels figuur ging mosterd halen?
16. Hoe noem je een verhaal dat begint met “Er was eens…”?
17. Welke kleur licht wordt aan stuurboord gevoerd?
18. In welk werelddeel ligt de Sahara?
19. Wat is het scheikundige symbool voor water?
20. Hoe heet een pasgeboren leeuw?
44
AUTOMATISCHE DETECTIE VAN ONBEGRIP
45
Versie 2
1. Hoe heet het gebouw waar je boeken kunt lenen?
2. Welke televisie serie gaat over de familie Forrester en Spectra?
3. Wat is de hoofdstad van Nederland?
4. Waarvoor stond FL bij onze gulden?
5. Bij welke temperatuur kookt water?
6. In welk land woonden de Inca’s?
7. Waarvan is leer gemaakt?
8. Welke muzikant had als bijnaam “The King”?
9. Wat was Rembrandts achternaam?
10. In welk werelddeel ligt Brazilië?
11. Wie maakte tekeningen bij Jip en Janneke?
12. Welk boek over een droevige ridder is na de Bijbel het meest herdrukte boek ter wereld?
13. Maak deze zin af: De bisschop van Myra staat beter bekend als….?
14. Wat is het grootste zoogdier ter wereld?
15. Hoe heten de drie neefjes van Donald Duck?
16. Wie schreef de Ilias?
17. Hoe noemt men in de golfsport de stokken waarmee je het balletje wegslaat?
18. Wat is de hoofdstad van Spanje?
19. Hoeveel worpen zijn bij darten toegestaan?
20. Hoe heet een pasgeboren koe?
46
AUTOMATISCHE DETECTIE VAN ONBEGRIP
Bijlage C: Gemiddelde data per Action Unit
Participant 1 FOK vraag 1 t/m 20, gemiddelden Action Units
1
AU 1
AU 2
AU 4
AU 5
2
-1.4506
-0.78559
0.38604
3
-0.30794 -0.51055
4
AU 14
AU 15
-0.49273 0.37437 0.057378
-0.036112 1.6395
2.5477
0.38314
-0.54142 0.33029 0.053605
-0.74432
1.5477
2.3704
-0.51308 -0.64981
0.26036
-0.50793 0.29778 0.14168
-0.57972
1.1695
2.584
5
-1.8903
-0.015262 -0.38195 0.23385 0.12919
0.39982
1.8043
2.3616
6
-0.87069 -0.618
0.40611
-0.59312 0.35175 0.023278
-0.67055
1.727
2.4931
7
-1.5807
0.057011
-0.45126 0.2781
0.31101
1.5004
2.6635
8
-0.71078 -0.61914
0.37455
-0.50236 0.34475 0.044176
-0.29723
1.7355
2.5544
9
-0.6935
-0.11505
0.091497
-0.35311 0.19029 0.041194
-0.54372
0.80227 2.1242
-0.75711
0.39369
-0.53549 0.35852 0.078556
-0.29607
1.5219
2.7245
11 -0.81668 -0.44731
0.094848
-0.38309 0.21237 0.0007875 -1.0929
1.0283
2.3676
12 -0.54588 -0.47499
0.23985
-0.47619 0.28047 0.24899
1.1726
2.5319
13 -1.7655
-0.52366
-0.099741 -0.36542 0.2475
-0.016052 1.8048
2.4301
14 -1.431
-0.78655
0.26765
-0.53977 0.34153 0.10478
-0.16314
1.5768
2.7009
15 -0.61668 -0.33604
0.022624
-0.40439 0.19096 0.085075
-0.41175
1.4033
2.3335
16 NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
17 -1.0779
-0.66606
0.43269
-0.6515
0.33303 0.054537
0.029616
1.7256
2.3454
0.29216
-0.41712 0.22081 0.067116
-0.49896
1.1399
2.179
19 -0.16511 0.066552 0.24447
-0.52565 0.22408 0.047114
-1.6854
1.1388
2.2749
20 -0.98476 -0.23777
-0.50592 0.1735
-0.6543
1.0426
2.1127
10 -1.258
-0.68904
-0.72048
18 -0.88318 -0.2932
0.12054
AU 9
AU 10
0.093097
0.048464
NaN
0.021232
AU 12
-0.38365