Enkele karakteristieken*van het menselijk visueel - TELIN

Didactisch materiaal bij de cursus
Beeldverwerking
http://telin.UGent.be/~philips/beeldv/
Academiejaar 2010-2011
Prof. dr. ir. W. Philips
[email protected]
Tel: 09/264.33.85 Fax: 09/264.42.95
UNIVERSITEIT
GENT
Telecommunicatie en
Informatieverwerking
versie: 29/9/2010
© W. Philips, Universiteit Gent, 1998-2010
Copyright notice
This powerpoint presentation was developed as an educational aid to the renewed course “Image processing” (Beeldverwerking), taught at the University of Gent, Belgium as
of 1998.
This presentation may be used, modified and copied free of charge for non-commercial purposes by individuals and non-for-profit organisations and distributed free of charge
by individuals and non-for-profit organisations to individuals and non-for-profit organisations, either in electronic form on a physical storage medium such as a CD-rom,
provided that the following conditions are observed:
1. If you use this presentation as a whole or in part either in original or modified form, you should include the copyright notice “© W. Philips, Universiteit Gent, 19982001” in a font size of at least 10 point on each slide;
2. You should include this slide (with the copyright conditions) once in each document (by which is meant either a computer file or a reproduction derived from such a
file);
3. If you modify the presentation, you should clearly state so in the presentation;
4. You may not charge a fee for presenting or distributing the presentation, except to cover your costs pertaining to distribution. In other words, you or your organisation
should not intend to make or make a profit from the activity for which you use or distribute the presentation;
5. You may not distribute the presentations electronically through a network (e.g., an HTTP or FTP server) without express permission by the author.
In case the presentation is modified these requirements apply to the modified work as a whole. If identifiable sections of that work are not derived from the presentation, and
can be reasonably considered independent and separate works in themselves, then these requirements do not apply to those sections when you distribute them as separate
works. But when you distribute the same sections as part of a whole which is a work based on the presentation, the distribution of the whole must be on the terms of this
License, whose permissions for other licensees extend to the entire whole, and thus to each and every part regardless of who wrote it. In particular note that condition 4 also
applies to the modified work (i.e., you may not charge for it).
“Using and distributing the presentation” means using it for any purpose, including but not limited to viewing it, presenting it to an audience in a lecture, distributing it to
students or employees for self-teaching purposes, ...
Use, modification, copying and distribution for commercial purposes or by commercial organisations is not covered by this licence and is not permitted without the author’s
consent. A fee may be charged for such use.
Disclaimer: Note that no warrantee is offered, neither for the correctness of the contents of this presentation, nor to the safety of its use. Electronic documents such as this
one are inherently unsafe because they may become infected by macro viruses. The programs used to view and modify this software are also inherently unsafe and may
contain bugs that might corrupt the data or the operating system on your computer.
If you use this presentation, I would appreciate being notified of this by email. I would also like to be informed of any errors or omissions that you discover. Finally, if you have
developed similar presentations I would be grateful if you allow me to use these in my course lectures.
Prof. dr. ir. W. Philips
Department of Telecommunications and Information Processing
University of Gent
St.-Pietersnieuwstraat 41, B9000 Gent, Belgium
E-mail: [email protected]
Fax: 32-9-264.42.95
Tel: 32-9-264.33.85
01b.2
Enkele karakteristieken
van het menselijk visueel systeem
versie: 29/9/2010
© W. Philips, Universiteit Gent, 1998-2010
Inleiding
Beelden zijn dikwijls bedoeld om door mensen te worden bekeken
Beeldverwerking wijzigt beelden,
•gewild: b.v. beeldverbetering
•of ongewild: b.v. compressie
 Het is dus belangrijk om te weten hoe de mens afwijkingen in beelden
waarneemt
Het menselijk visueel systeen is uiterst complex; het bestaat uit
•het oog: een sensor met lokale signaalverwerking (“preprocessing”)
•de visuele cortex: lage- en hoge-niveau beeldverwerking
•de rest van het brein: interpretatie
Al deze deelsystemen beïnvloeden elkaar!
 Hopeloos complex!
01b.4
versie: 29/9/2010
© W. Philips, Universiteit Gent, 1998-2010
Optische illusies
http://www.unoriginal.co.uk/illusionvideos.html
01b.5
versie: 29/9/2010
© W. Philips, Universiteit Gent, 1998-2010
Helmholtz
Stripes or hoops? Fashion myth
uncovered
By Steve Connor
Friday, 12 September 2008
The first rule of fashion – that
vertical stripes flatter the figure
– is a myth, according to a study
conducted by scientists at York
University.
Women who avoid wearing clothes
with horizontal stripes in the
belief that it makes their bum
look larger should be reassured
by a scientific study showing
quite the opposite. It found that
horizontal stripes actually make
people look slimmer.
http://http://www.belfasttelegraph.co.uk/lifest
yle/fashion-beauty/stripes-or-hoops-fashionmyth-uncovered-13972416.html
01b.6
versie: 29/9/2010
© W. Philips, Universiteit Gent, 1998-2010
Golflengte en frequentie
01b.7
versie: 29/9/2010
© W. Philips, Universiteit Gent, 1998-2010
Vermogenspectrum van licht
x
Opmerking: zichtbaar licht
I(x,y) dS
y
  550 nm (grootteorde)
f  500 THz (grootteorde)
Lichtintensiteit: I(x,y)d S is het lichtvermogen dat invalt op een
elementair stukje oppervlak d S (eenheid: Watt/m2)
Licht kan worden ontbonden in een kleurenspectrum



I ( x, y ) 
 I ( x, y; f ) df


frequentiespectrum
(onafhankelijk van het
transmissiemedium)


df
I ( x, y; c /  )
d 
d
 I ' ( x, y;  ) d

golflengtespectrum
(gebruikt in de lichttechnologie)
In de vrije ruimte: f =c met c de lichtsnelheid 
df
c
 2
d 
01b.8
versie: 29/9/2010
© W. Philips, Universiteit Gent, 1998-2010
Structuur van het menselijk oog
lens
retina
visuele as
blinde
vlek fovea
optische
zenuwbundel
Staafjes en kegeltjes
Fotogevoelige elementen in de retina:
•twee soorten: kegeltjes en staafjes
•grootste dichtheid in de fovea
•100.000.000 receptoren in het oog maar
slechts 800.000 zenuwdraden
 er is duidelijk lokale processing in het oog
Kegeltjes
•aantal: 6.000.000
•voor zicht bij normaal omgevingslicht
•3 types, gevoelig voor respectievelijk
blauw, groen en geelgroen licht
Staafjes
•aantal: 100.000.000
 voor
•veel gevoeliger dan
kegeltjes
“donker”-zicht
•1 type  geen kleuronderscheiding
01b.9
versie: 29/9/2010
© W. Philips, Universiteit Gent, 1998-2010
Retina, kegeltjes en staafjes
Zenuwbundels
01b.10
versie: 29/9/2010
© W. Philips, Universiteit Gent, 1998-2010
De neurale interconnecties in het oog
amacriene cel
bipolaire cel
Bipolaire cellen:
•input=kegeltjes
•output=ganglioncellen
Horizontale cellen
•maken dwarsverbindingen tussen kegeltjes en bipolaire cellen
Amacriene cellen:
•maken dwarsverbindingen tussen bipolaire
cellen en ganglion
cellen
horizontale cel
01b.11
versie: 29/9/2010
© W. Philips, Universiteit Gent, 1998-2010
Absorptiespectra van kegeltjespigmenten
Deze absorptiespectra geven aan hoeveel percent van het licht op een
bepaalde frequentie in de kegeltjes wordt geabsorbeerd
Dit licht wordt echter niet volledig omgezet in een zenuwsignaal
 De absorptiespectra geven slechts een ruw idee van de spectrale
gevoeligheid van de kegeltjes
arbitraire eenheden
relatieve absorptiespectra
(golflengtespectra!)
b (groen)
g (geelgroen
tot rood)
 (blauw)
400
500
600
golflengte  (nm)
700
01b.12
versie: 29/9/2010
© W. Philips, Universiteit Gent, 1998-2010
Spectrale gevoeligheid van de kegeltjes...
Wat is het verband tussen het invallend lichtspectrum I ( f ) en de
zenuwsignalen “aan de uitgang” van de kegeltjes?
Experimentele vaststelling: goed model voor de respons van een kegeltje

van type i op licht met spectrum I(f): f(ri ) met ri  Si ( f ) I ( f ) df
met • Si( f ), i=1,2,3 de spectrale gevoeligheid van de kegeltjes van type i
• f (x) c log(x): een monotoon stijgende “log”-achtige functie
De spectrale gevoeligheidscurve geeft weer hoeveel van het licht met een
bepaalde frequentie in een elektrisch signaal wordt omgezet
De log-functie zorgt voor dynamiekcompressie (sterkte daglicht kan met
een factor 20 000 variëren)
01b.13
versie: 29/9/2010
© W. Philips, Universiteit Gent, 1998-2010
… Spectrale gevoeligheid van de kegeltjes...
Verschil spectrale gevoeligheid en absorptiekarakteristiek:
•De spectrale gevoeligheidscurve Si( f ) geeft weer hoeveel van het licht
met een bepaalde frequentie in een elektrisch signaal wordt omgezet
•De absorptiekarakteristiek Ai( f ) geeft aan hoeveel licht bij een bepaalde
frequentie wordt geabsorbeerd
Verband: Si ( f )  Ai ( f ) Ei ( f )
Ruwe benadering: Si( f ) Ai( f )
I( f )
Absorptie
Ai(f)
fotonen 
elektronen
Efficiëntie Ei(f)
Spectraal filter/fotocel
log()
f(ri )
Dynamiekcompressie
01b.14
versie: 29/9/2010
© W. Philips, Universiteit Gent, 1998-2010
...Spectrale gevoeligheid van de kegeltjes
Ruwe benadering voor Si’( ): Si’() Ai’( )
b (groen)
g (geelgroen
tot rood)
 (blauw)
400
500
600
golflengte (nm)
700
Conclusies:
• Het oog is weinig gevoelig voor blauw
• De gevoeligheidscurven overlappen vrij veel  zelfs bronnen met een
smal spectrum zullen meestal meerdere types kegeltjes activeren
Opmerking: Si’() =Si (c/)
01b.15
versie: 29/9/2010
© W. Philips, Universiteit Gent, 1998-2010
Metamerisme
relatieve absorptiespectra
b (groen)
g (geelgroen
tot rood)
 (blauw)
bron2
bron1
400
500
600
700
golflengte (nm)
Metamerisme: bronnen met een verschillend spectrum kunnen de zelfde
kleurindruk geven (de mens ziet geen verschil tussen de bronnen)
Logisch: I( f ) is een functie en dus bepaald door oneindig veel getallen
en er zijn maar drie soorten kegeltjes  er gaat informatie verloren
Er bestaan minder triviale voorbeelden van metamerisme (zie appendix!)
01b.16
versie: 29/9/2010
© W. Philips, Universiteit Gent, 1998-2010
De wet van Weber...
Kleinst waarneembaar contrast:
(grijs licht)
I
I  I
I / I  0.02
I
I
(Weber’s wet)
2%
Intensiteit I
Deze experimenteel vastgestelde wet
suggereert een logaritmisch verband
tussen de “waargenomen helderheid” I’
en de opgenomen lichtintensiteit I:
I '  1  I  0.02 I
I '
1


 I '  50 ln( I )  b
I 0.02 I
 I '  a log( I )  b
Alhoewel een logaritmisch verband het
experiment grotendeels kan verklaren
blijkt dat de werkelijkheid veel complexer
is en dat de “waargenomen helderheid” I’
in een punt ook afhangt van de
lichtintensiteit in andere kegeltjes
01b.17
versie: 29/9/2010
© W. Philips, Universiteit Gent, 1998-2010
...De wet van Weber
Kleinst waarneembaar contrast tussen 2 lichtvlekken op een achtergrond
Besluit:
I0
I  I
I
I / I  0.02 f  I  I 0 
I 0  C1
I 0  C2
I
I
•Weber’s wet gaat maar op als II0
•Intensiteitsverschillen tussen twee gelijkende
lichtintensiteiten I en I+I zijn moeilijker waar
te nemen als de intensiteit I0 van
achtergrondlicht sterk verschilt van I
•de waargenomen helderheid van een punt
hangt ook af van de lichtintensiteit in andere
punten
Verklaring:
•het oog past zich aan het achtergrond-licht
(omgevingslicht) aan
•cfr. verblinding door de zon
Intensiteit I
01b.18
versie: 29/9/2010
© W. Philips, Universiteit Gent, 1998-2010
Simultaan contrast
I1
I2
I0
I2
Simultaan contrast: de waargenomen intensiteit van een object hangt af
van de intensiteit van de achtergrond
“contrasterende kleuren versterken elkaar”
Dit is nog een duidelijk bewijs dat het oog zich aanpast aan de globale
helderheid in een zeker omgeving
01b.19
versie: 29/9/2010
© W. Philips, Universiteit Gent, 1998-2010
Simultaan contrast
Complementaire kleuren versterken elkaar
01b.20
versie: 29/9/2010
© W. Philips, Universiteit Gent, 1998-2010
Simultaan contrast
There is strong contrast
between yellow and blue in
Vincent’s painting of the "Café
Terrace on the Place du Forum,
Arles", 1888.
01b.21
versie: 29/9/2010
© W. Philips, Universiteit Gent, 1998-2010
Periodieke patronen en spatiale frequentie
Sinusoidaal intensiteitspatroon: b( x, y )  B  A cos 2 f x x 
 maximale intensiteit: M=B+A;
Definitie: contrast van een patroon: C 
Aref, fx,ref
6
4
M m
M m
hier: C 
A
B
Experiment: voor gegeven f, regel A af zodat de
witte banden even wit lijken in beide patronen
A, f
10
minimale intensiteit: m=B-A
Zet Aref /A uit als functie van f
relatieve gevoeligheid Aref /A
2
Besluit: het “waargenomen contrast”
•hangt af van de spatiale frequentie
•wordt nul bij zeer hoge frequenties
Verklaring: het oog neemt een zeer
fijn patroon waar als “egaal grijs”
1
0.6
0.4
0.6
1.8
6.0
18
60
Spatiale frequentie f (cycles/deg.)
Opmerking: effectieve frequentie
hangt af van kijkafstand
01b.22
versie: 29/9/2010
© W. Philips, Universiteit Gent, 1998-2010
Waargenomen spatiale frequentie
r2
f x ,1
fx,i: spatiale frequentie in cycl. per meter
f x,2
ri: kijkafstand in meter
r1
f x,1
r2

Twee patronen lijken de zelfde spatiale frequentie te hebben als
f x,2 r1
f x r is dus een goede maat voor de waargenomen spatiale frequentie
(aantal lijntjes per graad)
wordt uitgedrukt in cycl. per radiaal (of per graad)
01b.23
versie: 29/9/2010
© W. Philips, Universiteit Gent, 1998-2010
Vereenvoudigd zichtmodel (één type kegeltjes)
I( f )
Spectraal
filter
ri   Si ( f ) I ( f ) df

log()
…
I ( f ) Spectraal ri   Si ( f ) I ( f ) df
log()
filter
kegeltje 1
lineaire
combinatie
kegeltje n
naar visuele
cortex
Verklaring voor de afhankelijkheid van het waargenomen contrast van de
spatiale frequentie:
•de kegeltjes worden door een “neuraal netwerk” verbonden met de optische
zenuwbundel
•model: de zenuwsignalen zijn lineaire combinaties van de kegeltjessignalen
Het blok “lineaire combinatie”
•gedraagt zich als een spatiaal filter (zie later): het maakt het zicht ietwat
wazig waardoor zeer fijne zwart-wit patronen er egaal grijs gaan uitzien
•zorgt voor datacompressie: het heeft 8 uitgangen per 1000 ingangen 01b.24
versie: 29/9/2010
© W. Philips, Universiteit Gent, 1998-2010
Model voor kleurzicht
Spectraal filter
groen
log()
+




bijdrage kegeltjes
op andere plaatsen
Spectraal filter
geelgroen
log()
-
Spectraal filter
blauw
log()
+
Het oog is minder gevoelig
aan spatiale veranderingen
in kleur dan in intensiteit
naar hersenen
(visuele cortex)
spatiaal
filter

spatiaal
filter
chrominanties

spatiaal
filter
achromatische
info
01b.25
versie: 29/9/2010
© W. Philips, Universiteit Gent, 1998-2010
Besluit
Bij beeldverwerking moeten we rekening houden met de volgende
eigenschappen van het oog:
•het niet-lineaire verband tussen lichtintensiteit en waargenomen helderheid:
contrastaanpassing
 de logaritmische karakteristiek van de kegeltjes
•kleurzicht is trichromatisch
•het oog ziet een lichtpunt als drie getallen en niet als een spectrum
•metamerisme: lichtbronnen met een verschillend spectrum kunnen niet
altijd worden onderscheiden
•spatiale effecten:
•het oog is veel minder gevoelig bij hoge spatiale frequenties
•snelle spatiale veranderingen in intensiteit zijn beter zichtbaar dan even
snelle veranderingen in kleur het zelfde fysisch contrast
01b.26
Appendix
Zelfstudie
versie: 29/9/2010
© W. Philips, Universiteit Gent, 1998-2010
Opmerking: Si’() =Si (c/)
ri   Si ( f ) I ( f ) df






per definitie van Si ( f )
c
Si (c /  ) I (c /  ) 2 d

 Si (c /  ) I ' ( ) d per definitie van I’ ()


ri 
 Si ' ( ) I ' ( )d
 Si ' (  )  Si ( c /  )
per definitie van Si ( f )

01b.28
versie: 29/9/2010
© W. Philips, Universiteit Gent, 1998-2010
Metamerisme: algemeen geval
Wanneer geven twee lichtspectra I(f) en I’(f) dezelfde respons?
 als ri=r’i voor i=1,2,3
d.w.z. als
 S ( f ) I ( f ) df   S ( f ) I ' ( f ) df voor i  1,2,3
i
i
  Si ( f ) I ( f )  I ' ( f )  df  0 voor i  1,2,3
Interpretatie: als I(f)-I’(f) loodrecht staat op de drie spectrale
gevoeligheidscurven van het menselijk oog, dan ziet het oog geen
verschil
Het is niet moeilijk een functie te vinden die loodrecht staat op 3 gegeven
functies  metamerisme komt zeer vaak voor
01b.29
versie: 29/9/2010
© W. Philips, Universiteit Gent, 1998-2010
Bibliografie
Jean-Bernard Martens. Image Design Technology - A Perceptual
Approach. The International Series in Engineering and Computer
Science, 2003, 568 p. ISBN: 1-4020-7461-1
http://webexhibits.org/colorart/ganglion.html
Nog aan te vullen
01b.30