motoriek

I. Motoriek & Robotica
prof. dr. L. Schomaker
(2004)
KI
RuG
2
I. Overzicht
 waarom Motoriek&Robotica?
 perceptie, cognitie en motoriek
 motoriek
 bewegingssturing via neurale netwerken in de
robotica ( II. Neurale Netwerken)
KI
RuG
©2003 LRB Schomaker
3
Waarom?
 Computers worden steeds sneller: 2x in 18 mnd.
 Het menselijk brein ‘rekent’, vergelijkbaar met een centrale
processor van 10-30 GHz
 Dus over vier jaar is de computer even intelligent als de
mens?
 Vandaag al? Verbind 15 gewone PC’s met elkaar en we
zijn klaar?
KI
RuG
©2003 LRB Schomaker
4
Waarom?
 Computers worden steeds sneller: 2x in 18 mnd.
 Het menselijk brein ‘rekent’, vergelijkbaar met een centrale
processor van 10-30 GHz
 Dus over vier jaar is de computer even intelligent als de
mens?
 Vandaag al? Verbind 15 gewone PC’s met elkaar en we
zijn klaar?
KI
RuG
©2003 LRB Schomaker
5
Hoe…?
“We weten nog te weinig over de architectuur
van intelligente systemen”
Vergeet computerschaak en kijk naar ‘embodied
systems’ in een fysische omgeving.
KI
RuG
©2003 LRB Schomaker
6
Hoe…?
“We weten nog te weinig over de architectuur
van intelligente systemen”
Vergeet computerschaak en kijk naar ‘embodied
systems’ in een fysische omgeving.
Voorbeeld: kijk naar biologie, de springspin
KI
RuG
©2003 LRB Schomaker
7
Springspin: een “embodied system”




Active vision
Optic flow
Predictive planning
Timed jump
KI
RuG
©2003 LRB Schomaker
phidipus princeps
v(t)
(Hill, 2001)
(Forster & Forster, 1999)
10
Kenmerken van de sprong van een springspin
 Bepaling van prooisnelheid op basis van optic
flow en een volgende oogbeweging (tracking)
 Preparatie van de amplitude, richting en timing
van de spiercontractie (van tevoren!)
 Sprong…
 Vlucht… (nauwelijks trajectaanpassing mogelijk)
 Vangen of missen van de prooi
KI
RuG
©2003 LRB Schomaker
flight
t1
t2
Spider jump
12
De springspin …
 is in staat tot een aantal complexe
gedragingen
 die waarneming en bewegingscontrole
vergen
 traditionele symbolische AI levert hier weinig
begrip: andere concepten zijn nodig
  cybernetica (bijv. “terugkoppeling”,
“Kalman filtering”)
  leren en adaptatie (neurale netwerken)
KI
RuG
©2003 LRB Schomaker
13
Embodied & Situated Cognition
 Intelligentie kan alleen begrepen worden als
functie van een belichaamd organisme dat
zich moet handhaven in een fysische context
 … een functie die het organisme in staat stelt
het gedrag aan te passen aan een grote
verscheidenheid van variabele (beperkt
voorspelbare) omstandigheden
KI
RuG
©2003 LRB Schomaker
14
Embodied & Situated Cognition
 Intelligentie kan alleen begrepen worden als
functie van een belichaamd organisme dat
zich moet handhaven in een fysische context
 … een functie die het organisme in staat stelt
het gedrag aan te passen aan een grote
verscheidenheid van variabele (beperkt
voorspelbare) omstandigheden
 Dit vergt nieuwe theorievorming !!!
KI
RuG
©2003 LRB Schomaker
Traditioneel model voor (menselijke) informatieverwerking
Perceptie
Cognitie
Motoriek
Specialisatie van wetenschapsgebieden
psychonomie
psychofysica
patroonherkenning
psychonomie
bewegingswetenschappen
AI, robotica
Visuele Perceptie
Auditieve Perceptie
Tactiele Perceptie
Voortbeweging
Cognitie:
beslissen
leren
taal
Geur-Perceptie
Objectmanipulatie
Spraak
Schrijven
psychonomie
cognitiewetenschap
taalkunde
kunstmatige intelligentie
Traditioneel model voor (menselijke) informatieverwerking
Perceptie
Cognitie
Tevredenstellend?
Motoriek
Traditioneel perceptie-onderzoek en computer vision
Traditioneel perceptie-onderzoek en computer vision
20
Klopt dit model wel?
Perceptie
Cognitie
Motoriek
 Waar komt de informatie vandaan?
 Waar gaat de informatie naartoe?
KI
RuG
©2003 LRB Schomaker
Aangepast model voor informatieverwerking
AGENT
Perceptie
Cognitie
zintuigen
Motoriek
effectoren
WERELD
22
Klopt dit aangepaste model wel?
AGENT
Cognitie
Perceptie
Motoriek
effectoren
zintuigen
WERELD
Stelling: Perceptie en Motoriek zijn
onlosmakelijk verbonden
KI
RuG
©2003 LRB Schomaker
23
Stelling: Perceptie en Motoriek zijn
onlosmakelijk verbonden
 De sensoren hebben verandering in
intensiteit nodig: (dS/dt) om te kunnen
reageren
KI
RuG
©2003 LRB Schomaker
24
Stelling: Perceptie en Motoriek zijn
onlosmakelijk verbonden
 De sensoren hebben verandering in
intensiteit nodig: (dS/dt) om te kunnen
reageren
 Deze veranderingen in S worden grotendeels
door motoriek bepaald!
KI
RuG
©2003 LRB Schomaker
25
Stelling: Perceptie en Motoriek zijn
onlosmakelijk verbonden
 De sensoren hebben verandering in
intensiteit nodig: (dS/dt) om te kunnen
reageren
 Deze veranderingen in S worden grotendeels
door motoriek bepaald!
 De sensoren moeten worden gericht en
geregeld: dit wordt gedaan door spieren
KI
RuG
©2003 LRB Schomaker
26
Perceptie en Motoriek zijn onlosmakelijk verbonden
 Het zien
 Als de oogspieren worden ingespoten met een spierverlammend
middel valt het beeld in enkele tientallen ms weg
KI
RuG
©2003 LRB Schomaker
27
Perceptie en Motoriek zijn onlosmakelijk verbonden
 Het zien
 Als de oogspieren worden ingespoten met een spierverlammend
middel valt het beeld in enkele tientallen ms weg
KI
RuG
©2003 LRB Schomaker
28
Perceptie en Motoriek zijn onlosmakelijk verbonden
 Het zien
 Als de oogspieren worden ingespoten met een spierverlammend
middel valt het beeld in enkele tientallen ms weg
KI
RuG
©2003 LRB Schomaker
29
Perceptie en Motoriek zijn onlosmakelijk verbonden
 Het zien
 Als de oogspieren worden ingespoten met een spierverlammend
middel valt het beeld in enkele tientallen ms weg
 Reeksen van oogfixaties en saccades (oogsprongen) worden
verzorgd door de oogspieren.
KI
RuG
©2003 LRB Schomaker
30
Perceptie en Motoriek zijn onlosmakelijk verbonden
 Het zien
 Als de oogspieren worden ingespoten met een spierverlammend
middel valt het beeld in enkele tientallen ms weg
 Reeksen van oogfixaties en saccades (oogsprongen) worden
verzorgd door de oogspieren.
 De indruk van het totaalbeeld wordt geconstrueerd in het brein.
KI
RuG
©2003 LRB Schomaker
31
Perceptie en Motoriek zijn onlosmakelijk verbonden
 Het zien
 Als de oogspieren worden ingespoten met een spierverlammend
middel valt het beeld in enkele tientallen ms weg
 Reeksen van oogfixaties en saccades (oogsprongen) worden
verzorgd door de oogspieren.
 De indruk van het totaalbeeld wordt geconstrueerd in het brein.
 Scherpstellen (accomodatie en vergentie) worden
gerealiseerd door de oogspieren
KI
RuG
©2003 LRB Schomaker
Oogbewegingen:
saccades en fixaties
bij het kijken naar
een gezicht
Van de saccadetrajecten is slechts
een deel afgebeeld.
De fixaties zijn de
verdichtingen
Joyce (2000).
 Resolutie van een biologisch oog: alleen centraal (fovea)
is het beeld scherp. Perifeer is het beeld wazig maar
de gevoeligheid voor beweging is daar groter.
 Gevolg: je mòèt wel actief rondkijken!
34
Perceptie en Motoriek zijn onlosmakelijk verbonden
 Het horen
 Bij het horen is dS/dt van luchtdruk ongelijk aan nul: gratis
veranderingen in de tijd!
Motoriek is dus niet nodig?
KI
RuG
©2003 LRB Schomaker
35
Stelling: Perceptie en Motoriek zijn
onlosmakelijk verbonden
 Het horen
 Bij het horen is dS/dt van luchtdruk ongelijk aan nul
(gratis veranderingen in de tijd!)
Motoriek is dus niet nodig?
 Om richting te bepalen moet je hoofd of oren richten
KI
RuG
©2003 LRB Schomaker
36
Stelling: Perceptie en Motoriek zijn
onlosmakelijk verbonden
 Het horen
 Bij het horen is dS/dt van luchtdrukvariaties ongelijk aan nul
(gratis veranderingen in de tijd).
Motoriek is dus niet nodig?
 Om richting te bepalen moet je hoofd of oren richten
 Verder wordt de gevoeligheid wordt door spiertjes bepaald, ook
om het oor te beschermen (tensor stapedius)
KI
RuG
©2003 LRB Schomaker
37
Stelling: Perceptie en Motoriek zijn
onlosmakelijk verbonden
 De tast
 Als je de textuur van een voorwerp wil voelen moet je een
tactiele ‘flow’ veroorzaken door je hand te bewegen.
 Bij stilstand vervaagt de tactiele indruk
KI
RuG
©2003 LRB Schomaker
38
Stelling: Perceptie en Motoriek zijn
onlosmakelijk verbonden
 De reuk
 werkt door een gerichte sturing van de ademhaling
(intercostaalspiertjes, tussen de ribben)
KI
RuG
©2003 LRB Schomaker
39
Stelling: Perceptie en Motoriek zijn
onlosmakelijk verbonden
 De reuk
 werkt door een gerichte sturing van de ademhaling
(intercostaalspiertjes, tussen de ribben)
 de neusgaten kunnen door spieren worden opengezet en bij
sommige diersoorten ook worden gesloten
KI
RuG
©2003 LRB Schomaker
40
Stelling: Perceptie en Motoriek zijn
onlosmakelijk verbonden
 De reuk
 werkt door een gerichte sturing van de ademhaling
(intercostaalspiertjes, tussen de ribben)
 de neusgaten kunnen door spieren worden opengezet en bij
sommige diersoorten ook worden gesloten
 snuffelen: complexe motorische activiteit bestaande uit
ego-motion en richten van de sensor
KI
RuG
©2003 LRB Schomaker
41
Stelling: Perceptie en Motoriek zijn
onlosmakelijk verbonden
 De propriocepsis
 Het waarnemen van je lichaamshouding gebeurt door sensoren
in de spieren (spierspoeltjes) die reageren op
spierlengteveranderingen
KI
RuG
©2003 LRB Schomaker
42
Stelling: Perceptie en Motoriek zijn
onlosmakelijk verbonden
 De propriocepsis
 Het waarnemen van je lichaamshouding gebeurt door
sensoren in de spieren (spierspoeltjes) die reageren op
spierlengteveranderingen
 De gevoeligheid van de spierspoeltjes wordt door het brein
geregeld (de gamma-efferenten)
gamma
spierspoeltje
dL/dt naar CZS
alpha
spiervezels
(motor unit)
KI
RuG
©2003 LRB Schomaker
Motor cortex (precentraal) en
somatosensorische cortex (postcentraal)
Penfield
Penfield & Rasmussen (1950). Twee plakjes brein.
Rechts=Voor (pre-centraal): spieraansturing
Links=Achter (post-centraal): waarneming van de
de (toe)stand van de ledematen.
45
Stelling: Perceptie en Motoriek zijn
onlosmakelijk verbonden
 Het evenwichtsorgaan
 semi-circulaire kanalen
 otholithische sensor
 …werken voor en door de motoriek
KI
RuG
©2003 LRB Schomaker
Aangepast model voor informatieverwerking
AGENT
Cognitie
Perceptie
zintuigen
Motoriek
effectoren
47
Ontwikkelingen in AI en robotica
Cognitie
zintuigen
effectoren
 Bewegen om waar te nemen
 Waarnemen om te bewegen
KI
RuG
©2003 LRB Schomaker
Foto’s van Robot Hond, AI-lab Zurich
Motoriek zorgt ook voor problemen: bewegend
beeld bij lopen vergt “gaze stabilisation”:
met oogbewegingen ervoor zorgen dat het
beeld niet al te veel schudt gedurende lopen.
49
Ontwikkelingen in AI en robotica
Cognitie
zintuigen
effectoren
 Bewegen om waar te nemen
 Waarnemen om te bewegen
 + afregeling van sensoren door
motorische mechanismen
KI
RuG
©2003 LRB Schomaker
50
Een architectuur voor cognitie
cognitie
aandacht&coordinatie
reflexen
zintuigen effectoren
KI
RuG
©2003 LRB Schomaker
51
Een architectuur voor cognitie
cognitie
(frontale)
neocortex
aandacht coordinatie
hypothalamus,
basale ganglia,
cerebellum
reflexen
zintuigen effectoren
ruggemerg
KI
RuG
©2003 LRB Schomaker
52
Tussentijdse conclusie
 Perceptie en motoriek zijn sterk
onderling afhankelijk
 Wat is het voordeel van deze
architectuur?
KI
RuG
©2003 LRB Schomaker
54
Ontwikkelingen in AI en robotica
 “embodied intelligence”:
intelligentie is niet te begrijpen zonder
inachtname van
 lichaam & omgeving
 closed-loop system
KI
RuG
©2003 LRB Schomaker
55
Voordelen van een closed-loop system
 Closed-loop + non-lineariteit  zelforganisatie
 Neurale adaptiviteit is de truc!
KI
RuG
©2003 LRB Schomaker
56
Voordelen van een closed-loop system
 Closed-loop + non-lineariteit  zelforganisatie
 Neurale adaptiviteit is de truc!
 Voorbeeld: het leren van motorische controle
KI
RuG
©2003 LRB Schomaker
57
Inverse Kinematica
 Gegeven een kinematische keten (gewrichten
en ledemaatsegmenten), en een gewenste
doelpositie in de taakruimte, wat is de vector
van gewrichtshoeken als functie van de tijd?
KI
RuG
©2003 LRB Schomaker
58
Inverse Kinematica: hoe moeilijk is het?
Doel
(x,y,z)
Opdracht: bedien de
schuifregelaars en zorg
dat de grijper vloeiend
naar het doel beweegt
KI
RuG
©2003 LRB Schomaker
59
Inverse Kinematica
φ3
φ4
φ5
φ2
φ1
Doel
(x,y,z)
φ6
φ7
Gegeven doel (x,y,z), gevraagd: vector φ
met gewrichtshoeken?
KI
RuG
©2003 LRB Schomaker
60
Inverse Kinematica…
 Van laag-dimensionaal (3 df) naar hoogdimensionaal (7 degrees of freedom)
 Is dit mathematisch op te lossen?
 Nee: het is een “ill-posed problem” of
slecht gesteld probleem. Definitie: een
probleem waarvoor
• 1) géén of
• 2) meerdere oplossingen mogelijk zijn
KI
RuG
©2003 LRB Schomaker
61
Inverse Kinematica, vervolg
 Er zijn meestal zeer veel oplossingen
(gewrichtshoeken als functie van de tijd) voor
een traject van een eindeffector van positie A
naar B in de Cartesiaanse taakruimte
 Sommige configuraties hebben geen
oplossing (singulariteit)
KI
RuG
©2003 LRB Schomaker
62
2-d, twee segmenten
KI
RuG
©2003 LRB Schomaker
63
2-d, twee segmenten
Twee oplossingen voor deze arm!
KI
RuG
©2003 LRB Schomaker
64
Inverse Kinetica (Inverse Dynamica):
niet alleen een traject, maar ook krachten!
θ3
θ4
θ5
θ2
θ1
Doel
(m,g)
θ6
θ7
Gegeven massa m, inertie g, gevraagd:
vector θ met draaimomenten?
KI
RuG
©2003 LRB Schomaker
65
Het probleem is dus onoplosbaar?
 Nee: wij bewegen nogal veel, bijvoorbeeld
 Oplossingen: inperkingen (constraints)
maken berekening mogelijk
 De inperkingen kunnen structureel zijn
(aantal vrijheidsgraden) of contextueel (taaken systeemparameters)
KI
RuG
©2003 LRB Schomaker
66
Constraints: natuurlijke bewegers
 Hoe komen de natuurlijke motorieksystemen
aan de juiste parameterinstelling????
 …terwijl het systeem ook nog eens aan
allerlei veranderingen onderhevig is zoals
– Groei
– Veroudering (krachtsverlies) ????
 Antwoord: neurale plasticiteit!
KI
RuG
©2003 LRB Schomaker
67
Neurale plasticiteit
 Een analytische, beknopt wiskundige oplossing voor
bewegingsturing van complexe effectorsystemen is
beperkt toepasbaar in de echte wereld
 Het biologische bewegingsapparaat gebruikt
“motor babbling”
 Dwz: willekeurig genereren van veel gewrichtshoekcombinaties en perceptueel vaststellen waar de
eindeffector (hand) zich bevindt
KI
RuG
©2003 LRB Schomaker
Motor babbling
69
Neurale plasticiteit: motor babbling
 Leren is een ‘error feedback’ proces
 Veel ‘trial & error’
 De natuur geeft het foutsignaal vanzelf
KI
RuG
©2003 LRB Schomaker
70
Neurale plasticiteit: motor babbling
Voorbeelden:
– willekeurig trappelende baby in de buik leert eigen
spiersysteem kennen door propriocepsis
– na de geboorte: willekeurige armbewegingen brengen
de eigen hand binnen het visuele veld
– het pasgeboren veulen leert snel te staan op basis van
signalen uit het evenwichtsorgaan
KI
RuG
©2003 LRB Schomaker
71
Neurale plasticiteit: motor babbling
 In de jaren tachtig kwamen adaptieve
technieken tot ontwikkeling: ‘neurale’
netwerkmodellen
 Hiermee werd het voor het eerst mogelijk om
complexe robotsystemen ‘zichzelf te leren
kennen’
KI
RuG
©2003 LRB Schomaker
‘Motor babbling’
als basis voor het
aanleren van inverse
kinematica voor een 2D
arm.
Willekeurig gegenereerde
gewrichthoeken leiden tot
gerealiseerde
handposities in het
werkveld.
Zo kan een NN de inverse
leren: van vereiste
handpositie naar
gewrichtshoeken.
73
Oud robot-onderzoek
Koppeling tussen
sensor (lichtcel)
en stuuras, en
niet-lineaire regeling
(radiobuis) leidden
tot natuurlijke
gedragingen: nadering
en afstoting
Pionierswerk in de 50-er jaren:
Grey Walter: simpele middelen,
complex effect.
KI
RuG
©2003 LRB Schomaker
74
Nieuw robot onderzoek
ogen
oren
arm
hand
continu leren
BabyBot: G. Sandini, LIRA Genua.
KI
RuG
©2003 LRB Schomaker
75
Onderzoek bij KI/RuG op basis van deze visie
 Continu lerende systemen, in plaats van een
robotontwerp voor een specifieke oplossing
 Active Vision: ‘oogsprongen’ met de robotcamera(‘s), om de essentiele informatie op te
sporen
 Navigatie in robocup: leer het veld kennen
door rondrijden, botsen en kijken
KI
RuG
©2003 LRB Schomaker
76
Conclusies
 Perceptie en motoriek kunnen niet los van elkaar
onderzocht en begrepen worden
 De bewegingsproblemen uit de robotica worden in de
natuur opgelost met ‘motor babbling’ en neurale
adaptatie/plasticiteit
 Uitgaande van deze visie op perceptie, cognitie en
motoriek worden verschillende nieuwe onderzoeken
gestart bij KI/RuG: lezende robots en robotvoetbal.
KI
RuG
©2003 LRB Schomaker