1 1 Visuele Waarneming Oriëntatie Kunstmatige Intelligentie, oktober 2003 2 Wat levert kennis over visuele waarneming op voor de KUNSTMATIGE INTELLIGENTIE? Esther Wiersinga-Post kennis over (visuele) informatieverwerking bij mens/dier kan worden gebruikt bij ontwerp van kunstmatige systemen. met name van belang voor systemen die met natuurlijke stimuli moeten omgaan Visuele waarneming Visuele waarneming 3 Visuele waarneming bij organismen 4 ontwerp van sensoren optimale verwerking van natuurlijke stimuli: •ontwerp van sensoren b.v. concentratie op interessante delen van omgeving •adaptatie b.v. dynamisch bereik voor intensiteit •filteren van interessante kenmerken uit het beeld b.v. detectie van randen, kleuren, beweging. •gebruik van ‘actief zien’ b.v. actieve bewegingen van oog om ambiguiteiten te reduceren. •interpretatie b.v. doen van aannames over omgeving (b.v. bij 3D interpretatie). ? Visuele illusies Chrysomyia megacephala Visuele waarneming Visuele waarneming 2 5 6 verschillende typen ogen. A-C: evertebraten, D: camera-oog van zoogdier. het electromagnetische spectrum (Shepherd, 1994) Visuele waarneming Visuele waarneming 7 8 cellen in de retina Het menselijk oog met de verschillende celtypen in de retina. (Hubel, 1995) Visuele waarneming Visuele waarneming 3 9 10 microsaccades worden gemaakt om ondanks lichtadaptatie toch te unnen k blijven zien. Adaptation Range of visible light intensities Intensity (candela/m2) 1010 The sun at noon 109 Damaging 108 107 Filament of a 100 Watt light bulb 106 105 White paper in sunlight 104 103 Photopic vision 102 Comfortable reading 10 1 Mesopic vision 10-1 White paper in moonlight 10-2 10-3 White paper in starlight 10-4 Scotopic vision 10-5 Weakest visible light 10-6 Visuele Visuele waarneming waarneming Visuele waarneming 11 12 Filteren van interessante kenmerken uit het beeld bewegings-adaptatie center surround cells: contrastopscherping waterval-illusie Visuele waarneming Visuele waarneming 4 13 14 Filteren van interessante kenmerken uit het beeld simple cells: detectie van randen Machbanden Visuele waarneming Visuele waarneming 15 Visuele waarneming 16 Visuele waarneming 5 17 18 magno en parvo cellulaire cellagen in de Laterale geniculus magno cellular pathway ‘where pathway’: bewegingszien parvocellulair pathway ‘what pathway’: objectherkenning (o.a. kleur) De visuele cortex. (a) V1 (striate cortex) en de gebieden V2 t/m V5 (zie (c)). (Zeki, 1993) Visuele waarneming Visuele waarneming 19 20 ‘what’(ventraal) en ‘where’(dorsaal) pathways ‘single cell’‘afleiding in gebied V4. De cel reageert op een rood gekleerd vlak. Visuele waarneming Visuele waarneming 6 21 ‘single cell’‘afleiding in gebied V5. De cel reageert op een stimulus die in een bepaalde richting beweegt. (Zeki, 1993) 22 Activiteit van de hersenen (gemeten m.b.v. PET) bij het kijken naar een gekleurd voorwerp (a, activiteit in V4) of een bewegend voorwerp (b, activiteit in V5). (d) De primaire visuele cortex, V1, en V2 worden door beide stimuli geactiveerd. (NB: a en b omgedraaid?, zie slide 14) Visuele waarneming Visuele waarneming 23 Verschillende features uit een beeld worden in gespecialiseerde hersengebieden gedetecteerd 24 Gebruik van actief zien - reductie van ambiguiteiten - richten van aandacht Visuele waarneming Visuele Visuele waarneming waarneming 7 25 26 gebruik van actief zien voor afstand schatting locust (heeft ogen aan beide zijden van hoofd, dus geen binoculair zicht) lateral motion ==> motion parallax ==> info about distance Side to side scanning movements of a praying mantis. The body moves in such a way that the head travels along a line that is almost exactly perpendicular to the animal’s forward direction of view. The head does not rotate Fig. 2.5 Land and Collett Visuele waarneming Visuele waarneming 27 28 Interpretatie flying insects make saccadic turns ==> compression of rotational motion to small time intervals b.v. doen van aannames over omgeving bij 3D interpretatie. Visuele waarneming Visuele waarneming 8 29 30 Muller-Lyer illusie Visuele Visuele waarneming waarneming Visuele Visuele waarneming waarneming 31 32 Poggendorf illusie Visuele Visuele waarneming waarneming Visuele waarneming 9 33 34 size constancy waarneming van beweging (a) beeld-retina systeem (b) oog-hoofd systeem Visuele Visuele waarneming waarneming Visuele waarneming 35 Visuele waarneming 36 Visuele waarneming 10 37 38 (Wandell, 1995) Visuele waarneming Visuele waarneming 39 literatuur: •‘Foundations of vision’, B.A. Wandell (1995) •‘Eye brain and vision’, D. H. Hubel (1995) •‘A vision of the brain’, S. Zeki (1993) •‘Neurobiology’, G.M. Shepherd (1994) Visuele Visuele waarneming waarneming