sheets - Powerpoint

Motoriek, Robotica
en Neurale Netwerken
prof. dr. L. Schomaker
(2003)
KI
RuG
2
Overzicht
 waarom Motoriek&Robotica&NN?
 perceptie, cognitie en motoriek
 motoriek
 bewegingssturing via neurale netwerken in de
robotica
KI
RuG
©2003 LRB Schomaker
3
Waarom?
 Computers worden steeds sneller: 2x in 18 mnd.
 Het menselijk brein ‘rekent’, vergelijkbaar met een centrale
processor van 10-30 GHz
 Dus over vier jaar is de computer even intelligent als de
mens?
 Vandaag al? Verbind 15 gewone PC’s met elkaar en we
zijn klaar?
KI
RuG
©2003 LRB Schomaker
4
Waarom?
 Computers worden steeds sneller: 2x in 18 mnd.
 Het menselijk brein ‘rekent’, vergelijkbaar met een centrale
processor van 10-30 GHz
 Dus over vier jaar is de computer even intelligent als de
mens?
 Vandaag al? Verbind 15 gewone PC’s met elkaar en we
zijn klaar?
KI
RuG
©2003 LRB Schomaker
5
Hoe…?
“We weten nog te weinig over de architectuur
van intelligente systemen”
Vergeet computerschaak en kijk naar ‘embodied
systems’ in een fysische omgeving.
KI
RuG
©2003 LRB Schomaker
Traditioneel model voor (menselijke) informatieverwerking
Perceptie
Cognitie
Motoriek
Specialisatie van wetenschapsgebieden
psychonomie
psychofysica
patroonherkenning
psychonomie
bewegingswetenschappen
AI, robotica
Visuele Perceptie
Auditieve Perceptie
Tactiele Perceptie
Voortbeweging
Cognitie:
beslissen
leren
taal
Geur-Perceptie
Objectmanipulatie
Spraak
Schrijven
psychonomie
cognitiewetenschap
taalkunde
kunstmatige intelligentie
Traditioneel model voor (menselijke) informatieverwerking
Perceptie
Cognitie
Tevredenstellend?
Motoriek
Traditioneel perceptie-onderzoek en computer vision
Traditioneel perceptie-onderzoek en computer vision
11
Klopt dit model wel?
Perceptie
Cognitie
Motoriek
 Waar komt de informatie vandaan?
 Waar gaat de informatie naartoe?
KI
RuG
©2003 LRB Schomaker
Aangepast model voor informatieverwerking
AGENT
Perceptie
Cognitie
zintuigen
Motoriek
effectoren
WERELD
13
Klopt dit aangepaste model wel?
AGENT
Cognitie
Perceptie
Motoriek
effectoren
zintuigen
WERELD
Stelling: Perceptie en Motoriek zijn
onlosmakelijk verbonden
KI
RuG
©2003 LRB Schomaker
14
Stelling: Perceptie en Motoriek zijn
onlosmakelijk verbonden
 De sensoren hebben verandering in
intensiteit nodig: (dS/dt) om te kunnen
reageren
KI
RuG
©2003 LRB Schomaker
15
Stelling: Perceptie en Motoriek zijn
onlosmakelijk verbonden
 De sensoren hebben verandering in
intensiteit nodig: (dS/dt) om te kunnen
reageren
 Deze veranderingen in S worden grotendeels
door motoriek bepaald!
KI
RuG
©2003 LRB Schomaker
16
Stelling: Perceptie en Motoriek zijn
onlosmakelijk verbonden
 De sensoren hebben verandering in
intensiteit nodig: (dS/dt) om te kunnen
reageren
 Deze veranderingen in S worden grotendeels
door motoriek bepaald!
 De sensoren moeten worden gericht en
geregeld: dit wordt gedaan door spieren
KI
RuG
©2003 LRB Schomaker
17
Perceptie en Motoriek zijn onlosmakelijk verbonden
 Het zien
 Als de oogspieren worden ingespoten met een spierverlammend
middel valt het beeld in enkele tientallen ms weg
KI
RuG
©2003 LRB Schomaker
18
Perceptie en Motoriek zijn onlosmakelijk verbonden
 Het zien
 Als de oogspieren worden ingespoten met een spierverlammend
middel valt het beeld in enkele tientallen ms weg
KI
RuG
©2003 LRB Schomaker
19
Perceptie en Motoriek zijn onlosmakelijk verbonden
 Het zien
 Als de oogspieren worden ingespoten met een spierverlammend
middel valt het beeld in enkele tientallen ms weg
KI
RuG
©2003 LRB Schomaker
20
Perceptie en Motoriek zijn onlosmakelijk verbonden
 Het zien
 Als de oogspieren worden ingespoten met een spierverlammend
middel valt het beeld in enkele tientallen ms weg
 Reeksen van oogfixaties en saccades (oogsprongen) worden
verzorgd door de oogspieren.
KI
RuG
©2003 LRB Schomaker
21
Perceptie en Motoriek zijn onlosmakelijk verbonden
 Het zien
 Als de oogspieren worden ingespoten met een spierverlammend
middel valt het beeld in enkele tientallen ms weg
 Reeksen van oogfixaties en saccades (oogsprongen) worden
verzorgd door de oogspieren.
 De indruk van het totaalbeeld wordt geconstrueerd in het brein.
KI
RuG
©2003 LRB Schomaker
22
Perceptie en Motoriek zijn onlosmakelijk verbonden
 Het zien
 Als de oogspieren worden ingespoten met een spierverlammend
middel valt het beeld in enkele tientallen ms weg
 Reeksen van oogfixaties en saccades (oogsprongen) worden
verzorgd door de oogspieren.
 De indruk van het totaalbeeld wordt geconstrueerd in het brein.
 Scherpstellen (accomodatie en vergentie) worden
gerealiseerd door de oogspieren
KI
RuG
©2003 LRB Schomaker
Oogbewegingen:
saccades en fixaties
bij het kijken naar
een gezicht
Van de saccadetrajecten is slechts
een deel afgebeeld.
De fixaties zijn de
verdichtingen
Joyce (2000).
 Resolutie van een biologisch oog: alleen centraal (fovea)
is het beeld scherp. Perifeer is het beeld wazig maar
de gevoeligheid voor beweging is daar groter.
 Gevolg: je mòèt wel actief rondkijken!
25
Perceptie en Motoriek zijn onlosmakelijk verbonden
 Het horen
 Bij het horen is dS/dt van luchtdruk ongelijk aan nul: gratis
veranderingen in de tijd!
Motoriek is dus niet nodig?
KI
RuG
©2003 LRB Schomaker
26
Stelling: Perceptie en Motoriek zijn
onlosmakelijk verbonden
 Het horen
 Bij het horen is dS/dt van luchtdruk ongelijk aan nul
(gratis veranderingen in de tijd!)
Motoriek is dus niet nodig?
 Om richting te bepalen moet je hoofd of oren richten
KI
RuG
©2003 LRB Schomaker
27
Stelling: Perceptie en Motoriek zijn
onlosmakelijk verbonden
 Het horen
 Bij het horen is dS/dt van luchtdrukvariaties ongelijk aan nul
(gratis veranderingen in de tijd).
Motoriek is dus niet nodig?
 Om richting te bepalen moet je hoofd of oren richten
 Verder wordt de gevoeligheid wordt door spiertjes bepaald, ook
om het oor te beschermen (tensor stapedius)
KI
RuG
©2003 LRB Schomaker
28
Stelling: Perceptie en Motoriek zijn
onlosmakelijk verbonden
 De tast
 Als je de textuur van een voorwerp wil voelen moet je een
tactiele ‘flow’ veroorzaken door je hand te bewegen.
 Bij stilstand vervaagt de tactiele indruk
KI
RuG
©2003 LRB Schomaker
29
Stelling: Perceptie en Motoriek zijn
onlosmakelijk verbonden
 De reuk
 werkt door een gerichte sturing van de ademhaling
(intercostaalspiertjes, tussen de ribben)
KI
RuG
©2003 LRB Schomaker
30
Stelling: Perceptie en Motoriek zijn
onlosmakelijk verbonden
 De reuk
 werkt door een gerichte sturing van de ademhaling
(intercostaalspiertjes, tussen de ribben)
 de neusgaten kunnen door spieren worden opengezet en bij
sommige diersoorten ook worden gesloten
KI
RuG
©2003 LRB Schomaker
31
Stelling: Perceptie en Motoriek zijn
onlosmakelijk verbonden
 De reuk
 werkt door een gerichte sturing van de ademhaling
(intercostaalspiertjes, tussen de ribben)
 de neusgaten kunnen door spieren worden opengezet en bij
sommige diersoorten ook worden gesloten
 snuffelen: complexe motorische activiteit bestaande uit
ego-motion en richten van de sensor
KI
RuG
©2003 LRB Schomaker
32
Stelling: Perceptie en Motoriek zijn
onlosmakelijk verbonden
 De propriocepsis
 Het waarnemen van je lichaamshouding gebeurt door sensoren
in de spieren (spierspoeltjes) die reageren op
spierlengteveranderingen
KI
RuG
©2003 LRB Schomaker
33
Stelling: Perceptie en Motoriek zijn
onlosmakelijk verbonden
 De propriocepsis
 Het waarnemen van je lichaamshouding gebeurt door
sensoren in de spieren (spierspoeltjes) die reageren op
spierlengteveranderingen
 De gevoeligheid van de spierspoeltjes wordt door het brein
geregeld (de gamma-efferenten)
gamma
spierspoeltje
dL/dt naar CZS
alpha
spiervezels
(motor unit)
KI
RuG
©2003 LRB Schomaker
Motor cortex (precentraal) en
somatosensorische cortex (postcentraal)
Penfield
Penfield & Rasmussen (1950). Twee plakjes brein.
Rechts=Voor (pre-centraal): spieraansturing
Links=Achter (post-centraal): waarneming van de
de (toe)stand van de ledematen.
36
Stelling: Perceptie en Motoriek zijn
onlosmakelijk verbonden
 Het evenwichtsorgaan
 semi-circulaire kanalen
 otholithische sensor
 …werken voor en door de motoriek
KI
RuG
©2003 LRB Schomaker
Aangepast model voor informatieverwerking
AGENT
Cognitie
Perceptie
zintuigen
Motoriek
effectoren
38
Ontwikkelingen in AI en robotica
Cognitie
zintuigen
effectoren
 Bewegen om waar te nemen
 Waarnemen om te bewegen
KI
RuG
©2003 LRB Schomaker
Foto’s van Robot Hond, AI-lab Zurich
Motoriek zorgt ook voor problemen: bewegend
beeld bij lopen vergt “gaze stabilisation”:
met oogbewegingen ervoor zorgen dat het
beeld niet al te veel schudt gedurende lopen.
40
Ontwikkelingen in AI en robotica
Cognitie
zintuigen
effectoren
 Bewegen om waar te nemen
 Waarnemen om te bewegen
 + afregeling van sensoren door
motorische mechanismen
KI
RuG
©2003 LRB Schomaker
41
Een architectuur voor cognitie
cognitie
aandacht&coordinatie
reflexen
zintuigen effectoren
KI
RuG
©2003 LRB Schomaker
42
Een architectuur voor cognitie
cognitie
aandacht coordinatie
reflexen
zintuigen effectoren
neocortex
hypothalamus,
basale ganglia,
cerebellum
ruggemerg
KI
RuG
©2003 LRB Schomaker
43
Tussentijdse conclusie
 Perceptie en motoriek zijn sterk
onderling afhankelijk
 Wat is het voordeel van deze
architectuur?
KI
RuG
©2003 LRB Schomaker
46
Ontwikkelingen in AI en robotica
 “embodied intelligence”:
intelligentie is niet te begrijpen zonder
inachtname van
 lichaam & omgeving
 closed-loop system
KI
RuG
©2003 LRB Schomaker
47
Voordelen van een closed-loop system
 Closed-loop + non-lineariteit  zelforganisatie
 Neurale adaptiviteit is de truc!
KI
RuG
©2003 LRB Schomaker
48
Voordelen van een closed-loop system
 Closed-loop + non-lineariteit  zelforganisatie
 Neurale adaptiviteit is de truc!
 Voorbeeld: het leren van motorische controle
KI
RuG
©2003 LRB Schomaker
49
Inverse Kinematica
 Gegeven een kinematische keten (gewrichten
en ledemaatsegmenten), en een gewenste
doelpositie in de taakruimte, wat is de vector
van gewrichtshoeken als functie van de tijd?
KI
RuG
©2003 LRB Schomaker
50
Inverse Kinematica: hoe moeilijk is het?
Doel
(x,y,z)
Opdracht: bedien de
schuifregelaars en zorg
dat de grijper vloeiend
naar het doel beweegt
KI
RuG
©2003 LRB Schomaker
51
Inverse Kinematica
φ3
φ4
φ5
φ2
φ1
Doel
(x,y,z)
φ6
φ7
Gegeven doel (x,y,z), gevraagd: vector φ
met gewrichtshoeken?
KI
RuG
©2003 LRB Schomaker
52
Inverse Kinematica…
 Van laag-dimensionaal (3 df) naar hoogdimensionaal (7 degrees of freedom)
 Is dit mathematisch op te lossen?
 Nee: het is een “ill-posed problem” of
slecht gesteld probleem. Definitie: een
probleem waarvoor
• 1) géén of
• 2) meerdere oplossingen mogelijk zijn
KI
RuG
©2003 LRB Schomaker
53
Inverse Kinematica, vervolg
 Er zijn meestal zeer veel oplossingen
(gewrichtshoeken als functie van de tijd) voor
een traject van een eindeffector van positie A
naar B in de Cartesiaanse taakruimte
 Sommige configuraties hebben geen
oplossing (singulariteit)
KI
RuG
©2003 LRB Schomaker
54
2-d, twee segmenten
KI
RuG
©2003 LRB Schomaker
55
2-d, twee segmenten
Twee oplossingen voor deze arm!
KI
RuG
©2003 LRB Schomaker
56
Inverse Kinetica (Inverse Dynamica):
niet alleen een traject, maar ook krachten!
θ3
θ4
θ5
θ2
θ1
Doel
(m,g)
θ6
θ7
Gegeven massa m, inertie g, gevraagd:
vector θ met draaimomenten?
KI
RuG
©2003 LRB Schomaker
57
Het probleem is dus onoplosbaar?
 Nee: wij bewegen nogal veel, bijvoorbeeld
 Oplossingen: inperkingen (constraints)
maken berekening mogelijk
 De inperkingen kunnen structureel zijn
(aantal vrijheidsgraden) of contextueel (taaken systeemparameters)
KI
RuG
©2003 LRB Schomaker
58
Constraints: natuurlijke bewegers
 Hoe komen de natuurlijke motorieksystemen
aan de juiste parameterinstelling????
 …terwijl het systeem ook nog eens aan
allerlei veranderingen onderhevig is zoals
– Groei
– Veroudering (krachtsverlies) ????
 Antwoord: neurale plasticiteit!
KI
RuG
©2003 LRB Schomaker
59
Neurale plasticiteit
 Een analytische, beknopt wiskundige oplossing voor
bewegingsturing van complexe effectorsystemen is
beperkt toepasbaar in de echte wereld
 Het biologische bewegingsapparaat gebruikt
“motor babbling”
 Dwz: willekeurig genereren van veel gewrichtshoekcombinaties en perceptueel vaststellen waar de
eindeffector (hand) zich bevindt
KI
RuG
©2003 LRB Schomaker
Motor babbling
61
Neurale plasticiteit: motor babbling
 Leren is een ‘error feedback’ proces
 Veel ‘trial & error’
 De natuur geeft het foutsignaal vanzelf
KI
RuG
©2003 LRB Schomaker
62
Neurale plasticiteit: motor babbling
Voorbeelden:
– willekeurig trappelende baby in de buik leert eigen
spiersysteem kennen door propriocepsis
– na de geboorte: willekeurige armbewegingen brengen
de eigen hand binnen het visuele veld
– het pasgeboren veulen leert snel te staan op basis van
signalen uit het evenwichtsorgaan
KI
RuG
©2003 LRB Schomaker
63
Neurale plasticiteit: motor babbling
 In de jaren tachtig kwamen adaptieve
technieken tot ontwikkeling: ‘neurale’
netwerkmodellen
 Hiermee werd het voor het eerst mogelijk om
complexe robotsystemen ‘zichzelf te leren
kennen’
KI
RuG
©2003 LRB Schomaker
64
Een neuron in een Neuraal Netwerkmodel
Gewogen inputs
Output
Sigmoide
overdrachtsfunctie
KI
RuG
©2003 LRB Schomaker
65
Een neuron in een Neuraal Netwerkmodel
Gewogen inputs: ai = Σ wij xj
Output yi
xj
wij
Uniti
ai
Sigmoide
overdrachtsfunctie
1 / ( 1 + e-a)
KI
RuG
©2003 LRB Schomaker
66
Leren in een neuraal net
Een leeralgoritme (bv. Error Backpropagation) zorgt
voor het vinden van de gewichten Wij op basis van
de fout tussen doel en gerealiseerde output
Output
yi
Input
xj
Wij
Target
ti
ε = y i - ti
ΔWij
Error
KI
RuG
©2003 LRB Schomaker
67
Cijferherkenning
Gebruiker geeft voorbeelden van cijfers
De cijfers worden aan het netwerk gepresenteerd
Het netwerk berekent per cel de gewogen som
van de inputs, en geeft output (sigmoide)
Het verschil tussen gerealiseerde output van
een cel in de laatste laag en de gewenste target
(nl de Error) kan worden gebruikt om alle Wij aan
te passen
KI
RuG
©2003 LRB Schomaker
Een 3-laags perceptron voor cijferherkenning
69
KI
RuG
©2003 LRB Schomaker
70
Een succesvol voorbeeld van NN
 NAVLAB: een
autonoom navigerende
bestelbus, Carnegie
Mellon, 1989.
Uitgerust met een Sun
werkstation en een
draadloze verbinding
met mainframe
computer om, op basis
van traditionele
technieken uit AI en
computer vision,
zelfstandig rond te
rijden
KI
RuG
©2003 LRB Schomaker
71
Touretzky & Pomerleau: dat moet eenvoudiger
 Gebruik de capaciteit om te leren in een
eenvoudig neuraal netwerkmodel
 Menselijke chauffeur rijdt over de campus,
neuraal netwerk kijkt ‘over de schouder’ naar:
Input: 1) camerabeeld,
2) radarbeeld,
Output: 3) de stand van het stuur als doel
KI
RuG
©2003 LRB Schomaker
De ALVINN netwerkarchitectuur
(Touretzky & Pomerleau, 1989)
Hidden units als zelflerende ‘feature detectors’
De waarden van
de gewichten tussen
inputbeeld en een
hidden unit kunnen
worden afgebeeld als
grijstinten. Deze
Hidden Unit let op
“niet rechtdoorrijden”
74
Meer problemen….
 Voortbeweging op basis van navigatie is
perceptueel lastig maar motorisch eenvoudig
(links, rechts, langzaam, snel)
 Armbeweging is een zeer complex probleem
 Kun je hier ook neurale netwerken
gebruiken?
KI
RuG
©2003 LRB Schomaker
‘Motor babbling’
als basis voor het
aanleren van inverse
kinematica voor een 2D
arm.
Willekeurig gegenereerde
gewrichthoeken leiden tot
gerealiseerde
handposities in het
werkveld.
Zo kan een NN de inverse
leren: van vereiste
handpositie naar
gewrichtshoeken.
76
Schouderhoek over het werkveld
KI
RuG
©2003 LRB Schomaker
77
Ellebooghoek over het werkveld
KI
RuG
©2003 LRB Schomaker
78
Samenvatting
 We hebben een architectuur (model) dat
uitgaat van een nauwsluitende koppeling
tussen perceptie en motoriek
 We hebben middelen om het leren
(adapteren) te kunnen uitvoeren met
machines
 Steeds meer ingredienten voor cognitieve
robotica!
KI
RuG
©2003 LRB Schomaker
79
Oud robot-onderzoek
Koppeling tussen
sensor (lichtcel)
en stuuras, en
niet-lineaire regeling
(radiobuis) leidden
tot natuurlijke
gedragingen: nadering
en afstoting
Pionierswerk in de 50-er jaren:
Grey Walter: simpele middelen,
complex effect.
KI
RuG
©2003 LRB Schomaker
80
Nieuw robot onderzoek
ogen
oren
arm
hand
continu leren
BabyBot: G. Sandini, LIRA Genua.
KI
RuG
©2003 LRB Schomaker
81
Nieuw onderzoek op basis van deze visie
 1. Continu lerende systemen, in plaats van een
robotontwerp voor een specifieke oplossing
 2. Lezende robots: niet met een ‘scan’ van een
totaalbeeld, en dan alles doorrekenen, maar
‘oogsprongen’ met de camera(‘s), om de essentiele
informatie op te sporen
 3. Navigatie in robocup: leer het veld kennen door
rondrijden, botsen en kijken
KI
RuG
©2003 LRB Schomaker
82
Conclusies
 Perceptie en motoriek kunnen niet los van elkaar
onderzocht en begrepen worden
 De bewegingsproblemen uit de robotica worden in de
natuur opgelost met ‘motor babbling’ en neurale
adaptatie/plasticiteit
 Uitgaande van deze visie op perceptie, cognitie en
motoriek worden verschillende nieuwe onderzoeken
gestart bij KI/RuG: lezende robots en robotvoetbal.
KI
RuG
©2003 LRB Schomaker