De taal van de verbeelding: is denken meer dan rekenen?

De taal van de verbeelding:
is denken meer dan
rekenen?
Piek Vossen
Computational Lexicology and Terminology Lab,
VU University Amsterdam
Computationeel denken
voor het modelleren van
menselijk denken
voor het voorspellen van
menselijk gedrag
Hoe denken mensen?
•
Verbeelden: (dag)-dromen, fantaseren
•
Verwoorden: taalsysteem van symbolische
representaties die situaties verbeelden
•
Methodes:
•
hersenscans, observeren van gedrag,
enquêtes
•
digitale communicatie: taal, beelden, geluiden
Wat denken mensen?
•
80% van de digitale informatie is tekst
•
kennis
•
emoties en opinies
•
•
http://themoodmap.co.uk
beweringen en meningen
De lezende computer
Taal: hoe moeilijk kan het zijn?
De band speelt buiten op het veld.
Ze hebben er zin in.
Bij de eerste slag slaat de drummer zijn
stokken al stuk.
Taal: hoe moeilijk kan het zijn?
De band speelt buiten op het veld.
Ze hebben er zin in.
Bij de eerste slag slaat de drummer zijn
stokken al stuk.
De band[12] speelt[12] buiten[3] op het veld[12].
Ze hebben er zin[12] in.
Bij[3] de eerste slag[18] slaat[9] de drummer
zijn stokken[6] al stuk[12].
12 X 12 X 3 X 12 X 12 X 3 X 18 X 9 X 6 X 12
=
2.176.782.336 (2 miljard)
combinaties aan betekenissen
Hoe goed de computer?
De band[12:groep musici] speelt[12:kaart spelen]
buiten[3:bijwoord] op het veld[12:sportveld].
Ze hebben er zin[12:trek] in.
Bij[3:voorzetsel] de eerste slag[18:geluid van slaan]
slaat[9:door slaan maken] de drummer
zijn stokken[6:werkwoord] al stuk[12:schaakstuk].
6 uit 10=60% of 3 uit 10=30%
Hoe bedenkt de computer dit?
Associatie
●
Ik moet mijn lekke band-1 oppompen
●
Die band-2 maakt mooie muziek
●
De band-2(6) speelt de muziek langzamer (af)
●
Ik maak een mooie band-3 voor mijn haar.
●
Ieder dag rollen er weer nieuwe auto's van de band-4.
●
Wij hebben een sterke band-5 met elkaar.
Universe of 2,500 words
Joseph Turian's map of 2500 English words produced by using t-SNE on the word feature vectors learned by Collobert & Weston, ICML
2008 Probleem
• Mensen
zien in ieder patroon
betekenis
• Computers
hebben geen
idee hoe ergens betekenis
aan te geven
Combineren van data
VISUAL
VECTORS
AUDIO
VECTORS
TEXT
VECTORS
VISUAL
TAGS
AUDIO
TAGS
KNOWLEGDE
VECTORS
Image recognition
•
80M Tiny images: Antonio Torralba, Rob Fergus
and William T. Freeman 2008
•
http://groups.csail.mit.edu/vision/TinyImages/
•
Visual words: pixel location & color as feature
vectors —> vector similarity
•
Image tags linked to WordNet: thesaurus van
een taal
http://groups.csail.mit.edu/vision/TinyImages/
http://groups.csail.mit.edu/vision/TinyImages/
Overspecificatie
5,000 words for person
mortal;posturer;controller;nazi;withholder;suppressor;subduer;fugitive;divider;subdivider;outc
aste;bereaved_person;yielder;nude;streaker;unperson;baby_buster;neighbor;loose_cann
on;ladino;communicator;announcer;town_crier;caller;caller;muezzin;hisser;gossipmonger;yenta
;cat;telltale;scandalmonger;allegoriser;presenter;promisee;quoter;transmitter;spammer;
answerer;hedger;assenter;interviewee;don’tknow;testee;passer;popularizer;avower;lauda
tor;clapper;waffler;wirer;conferrer;confessor;reporter;newswoman;television_reporter;anchorma
n;avower;postulator;author;gagwriter;poet;sonneteer;poetess;homer;elegist;frost;key;gilbert;gra
y;pound;poet_laureate;odist;spender;poet_laureate;bard;biographer;autobiographer;hagiograp
her;novelist;folk_writer;folk_poet;cyberpunk;west;wood;authoress;abstractor;pamphleteer;
speechwriter;drafter;paragrapher;space_writer;tragedian;snow;day;playwright;rice;kid;cooper;b
uck;scriptwriter;film_writer;wordmonger;framer;literary_hack;rand;coauthor;scenarist;litterateur;
word-painter; wordsmith;
alliterator;sand;e._e._cummings;heller;grass;spark;journalist;photojournalist;reed;stone;sob_sist
er;sports_writer;newspaperwoman;war_correspondent;foreign_correspondent;broadcast_journ
alist;gazetteer;columnist;newspaper_columnist;newspaper_critic;gossip_columnist;agony_aunt;
scribbler;rhymer;lyrist;rice;ghostwriter;librettist;compiler;encyclopaedist;lexicologist;etymologist
;synonymist;neologist;polemist;commentator;contributor;twaddler;alarmist;stirrer;letter_writer;pe
n_pal;broadcaster;telecaster;announcer;sportscaster;tv_announcer;newscaster;news_reader;ra
Uitdagingen
•
Leren waar woorden voor staan
•
Leren wanneer welk woord te gebruiken
•
Leren welke beweringen, meningen en opinies
mensen uitdrukken over andere mensen en
zaken
Het internet als bron voor
alle ziekten en kwalen
Van tekst naar structuur
REEKS
WOORDEN
REEKS
CONCEPTEN
RELATIES &
IMPLICATIES
AUTORITEIT
BRONNEN
…. Zowel Gardasil en Cervarix bevatten aluminium hydroxide,
een neurologisch gif dat ernstige gevaarlijke bijwerkingen veroorzaakt....
…. …....VACCIN.........CONTAIN....ALUMINIUM_HYDROXIDE...
(CONTAIN, Cardasil, aluminium hydroxide)
(CONTAIN, Cervarix, aluminium hydroxide)
(IS, aluminium hydroxide, neurotoxic)
(CAUSE, neurotoxic, side effects )
www.earth-matters.nl → STATEMENT → CERTAIN
Taaltechnologie
Provenance & Perspective model
http://www.w3.org/TR/2013/NOTE-prov-overview-20130430/
http://groundedannotationframework.org
2011-12-26
sem:hasTime
high
gaf:isCertain
gaf:1
HPV vaccin
gaf:CAUSES
gehoorverlies
attributedTo
gaf:2
HPV vaccin
www.earth-matters.nl
attributedTo
gaf:CAUSES
zwellingen
attributedTo
www.apotheek.nl
attributedTo
sem:hasTime
2011-12-26
www.dokterdokter.nl
gaf:isCertain
low
www.dokterdokter.nl
www.apotheek.nl
soms
pijn plaats injectie
roodheid
harde plek onder huid of bloeding
koorts
vermoeidheid
misselijkheid
buikpijn
stuiptrekkingen
vreemde gevoelswaarneming
problemen met zien
braken
diarree
zelden
galbulten
pijn in de armen of benen
zeer
zelden
zwellingen
jeuk
spierpijn
flauwvallen
hoofdpijn
gewrichtspijn
misselijkheid
huiduitslag
jeuk
benauwdheid
opgezwollen lippen, tong of gezicht
www.earth-matters.nl
beroertes
epilepsie
verlammingen
duizeligheid
coma
slapheid
chronische vermoeidheid
auto-immuun ziekten
hartproblemen
korte adem
haaruitval
gewichtsverlies
stemmingswisselingen
slapeloosheid
zenuwpijn
rugpijn
opgezette lymfeklieren
spraak en oogproblemen
gehoorverlies
trombosis
vergrote lever
menstruatiepijn
vergrote eileiders
eierstokcysten
onvruchtbaarheid
spontane abortussen
miskramen
geboorteafwijkingen
baarmoederhalskanker
Computational thinking
•
Wat we gebruiken:
•
•
regels, associaties, achtergrondkennis, formele
modellen, machine learning
Wat we modelleren:
•
WAT mensen denken: emoties, meningen en
beweringen van mensen over wat er gebeurt in de
wereld —> dynamische netwerken van
geloofswerelden
•
NIET HOE mensen denken
Is denken meer dan
rekenen?
•
Computers rekenen om taal te duiden
•
Dat levert rijke data structuren op en veel kennis
over mensen
•
Computers doen dat heel anders dan mensen
•
Computers kunnen zich niet inbeelden zoals
mensen omdat ze ervaringsmodellen afleiden en
niet ervaren