x`, y` - TELIN - Universiteit Gent

Didactisch materiaal bij de cursus
Beeldverwerking
http://telin.UGent.be/~philips/beeldv/
Academiejaar 2011-2012
Prof. dr. ir. W. Philips
[email protected]
Tel: 09/264.33.85 Fax: 09/264.42.95
UNIVERSITEIT
GENT
Telecommunicatie en
Informatieverwerking
© W. Philips, Universiteit Gent, 1999-2012
versie: 19/10/2011
Copyright notice
This powerpoint presentation was developed as an educational aid to the renewed course “Image processing” (Beeldverwerking), taught at the University of Gent, Belgium as
of 1998.
This presentation may be used, modified and copied free of charge for non-commercial purposes by individuals and non-for-profit organisations and distributed free of charge
by individuals and non-for-profit organisations to individuals and non-for-profit organisations, either in electronic form on a physical storage medium such as a CD-rom,
provided that the following conditions are observed:
1. If you use this presentation as a whole or in part either in original or modified form, you should include the copyright notice “© W. Philips, Universiteit Gent, 19982002” in a font size of at least 10 point on each slide;
2. You should include this slide (with the copyright conditions) once in each document (by which is meant either a computer file or a reproduction derived from such a
file);
3. If you modify the presentation, you should clearly state so in the presentation;
4. You may not charge a fee for presenting or distributing the presentation, except to cover your costs pertaining to distribution. In other words, you or your organisation
should not intend to make or make a profit from the activity for which you use or distribute the presentation;
5. You may not distribute the presentations electronically through a network (e.g., an HTTP or FTP server) without express permission by the author.
In case the presentation is modified these requirements apply to the modified work as a whole. If identifiable sections of that work are not derived from the presentation, and
can be reasonably considered independent and separate works in themselves, then these requirements do not apply to those sections when you distribute them as separate
works. But when you distribute the same sections as part of a whole which is a work based on the presentation, the distribution of the whole must be on the terms of this
License, whose permissions for other licensees extend to the entire whole, and thus to each and every part regardless of who wrote it. In particular note that condition 4 also
applies to the modified work (i.e., you may not charge for it).
“Using and distributing the presentation” means using it for any purpose, including but not limited to viewing it, presenting it to an audience in a lecture, distributing it to
students or employees for self-teaching purposes, ...
Use, modification, copying and distribution for commercial purposes or by commercial organisations is not covered by this licence and is not permitted without the author’s
consent. A fee may be charged for such use.
Disclaimer: Note that no warrantee is offered, neither for the correctness of the contents of this presentation, nor to the safety of its use. Electronic documents such as this
one are inherently unsafe because they may become infected by macro viruses. The programs used to view and modify this software are also inherently unsafe and may
contain bugs that might corrupt the data or the operating system on your computer.
If you use this presentation, I would appreciate being notified of this by email. I would also like to be informed of any errors or omissions that you discover. Finally, if you have
developed similar presentations I would be grateful if you allow me to use these in my course lectures.
Prof. dr. ir. W. Philips
Department of Telecommunications and Information Processing
University of Gent
St.-Pietersnieuwstraat 41, B9000 Gent, Belgium
E-mail: [email protected]
Fax: 32-9-264.42.95
Tel: 32-9-264.33.85
03c.2
Spatiale en temporele aspecten
beeldopname en weergave
© W. Philips, Universiteit Gent, 1999-2012
versie: 19/10/2011
Overzicht
Optische beeldvorming
•lenzen, puntspreidingsfuncties…
•Fouriertransformaties en distributies
Spatiale bemonstering
•cameramodel, aliasing
•bemonsteringstheorie, roosters, reciproke roosters,
beeldreconstructie uit monsters
Praktische aspecten voor beeldverwerking
resolutie van camera’s en weergavesystemen
bemonsteringsstrategie
kleurencamera’s
Temporele bemonstering
03c.4
Optische beeldvorming
© W. Philips, Universiteit Gent, 1999-2012
versie: 19/10/2011
De lens
x
h0(x,y)
p0(x,y)
y
d (x,y)
h(x,y)
Beeld 1 Optisch systeem
Beeld 2
Experiment
•beeld 1= puntje dat steeds kleiner wordt maar ook helderder zodat totaal
lichtvermogen=1 bij elke puntgrootte: lim  2 p0 ( x / , y / )
 0
•in de limiet convergeert beeld 2 naar de impulsrespons h(x,y)
Definitie: de puntspreidingsfunctie of impulsrespons h(x,y) is de reactie op een
puntbron d (x, y) met eenheidsamplitude in (x, y)=(0,0)
Eigenschappen (benadering!)
•Plaatsinvariantie (bij benadering): d (x-x0,y-y0)  h(x-x0,y-y0)
•Lineariteit: a0d (x-x0,y-y0)+a1d (x-x1,y-y1)  a0h(x-x0,y-y0)+a1h(x-x1,y-y1)
03c.6
© W. Philips, Universiteit Gent, 1999-2012
versie: 19/10/2011
Beeldvorming van een willekeurig beeld
x
bo(x,y)
bi(x,y)
y
Beeld 1 Optisch systeem
Beeld 2
Een willekeurig beeld bi(x, y) kan worden beschouwd als een superpositie
van puntbronnen bi(x’,y’ )d (x-x’,y-y’ ) met sterkte bi(x’, y’ )
+ +
bi (x, y) 
  bi (x', y' )d (x  x', y  y' ) dx'dy'
 
Plaatsinvariantie
lineariteit  beeld 2 is de som (integraal)
van gewogen responsen van puntbronnen
+ +
bo ( x, y ) 
  bi ( x' , y' )h( x  x' , y  y' ) dx' dy'  (h  bi )(x, y)
 
(convolutie)
03c.7
© W. Philips, Universiteit Gent, 1999-2012
versie: 19/10/2011
De 2D fouriertransformatie
 
Definitie: B( f x , f y ) 

 b ( x, y ) e
 j 2  f x x + f y y 
dxdy complexwaardig!
 
 
Inverse transformatie: b( x, y ) 

 B ( f x , f y )e
j 2  f x x + f y y 
df x df y
 
 lim
 0



j 2 ( k ) x + (l ) y  2
B
(
k

,
l

)
e


k   l  
bijdrage (k,l)-de freq. interval
Elk beeld kan beschouwd worden als de som van oneindig veel, maar ook
oneindig zwakke sinusoidale frequentiecomponenten
Beperking: de integralen bestaan soms niet, b.v. voor functies met
oneindige energie
 
Voorbeeld: b(x,y)=1 

 1e
 j 2  f x x + f y y 
dxdy bestaat niet
 
Dergelijke integralen bestaan wel in de zin van de distributies
03c.8
© W. Philips, Universiteit Gent, 1999-2012
versie: 19/10/2011
Belangrijke eigenschappen
Belangrijkste eigenschap: convolutie in plaatsdomein is equivalent met
vermenigvuldiging in frequentiedomein
convolutie
lineariteit
verschuiving
schaling
(b * h)( x, y)
B( f x , f y ) H ( f x , f y )
b ( x, y ) h ( x, y )
B  H ( f x , f y )
 b1 ( x, y ) +  b2 ( x, y )
 B1 ( f x , f y ) +  B2 ( f x , f y )
 j 2 ( f x +  f y )
b( x   , y   )
B ( f x , f y )e
b( x, y) e j 2 ( x +  y )
B( f x   , f y   )
b( x /  , y /  )
 B( f x ,  f y )
b( x /  , y /  ) / 
B( f x ,  f y )
03c.9
© W. Philips, Universiteit Gent, 1999-2012
versie: 19/10/2011
Beeldvorming van een willekeurig beeld
x
h(x,y)
bi(x,y)
y
Beeld 1 Optisch systeem
bo ( x, y)  (h  bi )( x, y)
Bi( fx, fy )
Beeld 2
 Bo ( f x , f y )  H ( f x , f y ) Bi ( f x , f y )
Bo( fx, fy )=Bi( fx, fy )H( fx, fy )
filter
complexwaardig  amplitudeschaling en fazeverdraaiing
Optisch systeem verandert beeldspectrum B( fx, fy ) op eenvoudige manier
Het gedraagt zich als een lineair filter dat B( fx, fy ) vermenigvuldigt met een
factor die afhangt van de spatiale frequentie ( fx, fy )
03c.10
© W. Philips, Universiteit Gent, 1999-2012
versie: 19/10/2011
De stelling van Parseval
Stelling van Parseval:
 

 b( x, y) dxdy 
2
 
 

 B( f x , f y ) df x df y
2
 
energie in plaatsdomein
energie in frequentiedomein
De fouriertransformatie bewaart de totale energie in het beeld
Definitie:
B( f x , f y )
2
is het energiespectrum van het beeld
2
Interpretatie:
B( f x , f y ) df x df y
is de bijdrage van het frequentiegebied
[ fx, fx+dfx][ fy, fy+dfy] tot de totale beeldenergie
Een filter verzwakt/versterkt de energie bij bepaalde spatiale frequenties:
2
2
2
Bi ( f x , f y ) df x df y  H ( f x , f y ) Bi ( f x , f y ) df x df y
03c.11
© W. Philips, Universiteit Gent, 1999-2012
versie: 19/10/2011
Opmerkingen
In de optica zijn de PSFs (puntpspreidingsfunctie) h(x,y) 0
•dit komt omdat lichtvermogen niet negatief kan zijn
•in de beeldverwerking (analoog of digitaal) kunnen lineaire filters
worden geïmplementeerd waarbij h(x,y) wel  0 kan zijn
We gebruiken de termen vermogen (energie/tijdseenheid) en energie
soms door elkaar
•een digitaal beeld komt tot stand door het lichtvermogen op een
bepaalde oppervlakte gedurende een bepaalde tijd te meten
 elk beeldpunt bevat een bepaalde energie
Klassieke microscoop/telescoop: eerder schijfvormige PSF; diffractionlimited optics -> eerder gaussiaanse PSF
h(x,0)
h(x,0)
x
x
microscoop
confocale microscoop
03c.12
© W. Philips, Universiteit Gent, 1999-2012
versie: 19/10/2011
De dirac-distributie
Definitie Dirac impuls: voor elke “voldoend brave”
functie f (x,y) is per definitie
1/
p0(x,y)
y
x
 
  d ( x, y) f( x, y)dxdy
 
 lim   2 p0 ( x / , y / ) f ( x, y)dxdy
 0
1
 f (0,0)
 
 
In het bijzonder:

 d ( x, y ) e
 j 2  f x x + f y y 
dxdy  e
 j 2  f x 0 + f y 0 
1
 
 redelijke definitie voor de inverse FT van d (x,y ): IFT{d (x,y )}=1
 redelijke definitie voor de FT van b (x,y )=1: FT{1}= d ( fx ,fy )
Betekenis van FT{1}= d ( fx ,fy )
•de functie f (x,y)=1 kan beschouwd worden als de limiet van functies fn(x,y)
die wel een FT hebben, n.l. Fn( fx, fy)
 
 
 
 
Fn ( f x , f y )G ( f x , f y )dxdy    d ( f x , f y )G ( f x , f y )dxdy


n 
03c.13
•en waarbij lim
© W. Philips, Universiteit Gent, 1999-2012
versie: 19/10/2011
Fouriergetransformeerden en distributies
f (x,y )
FT{ f (x,y )}
d (x,y )
1
d (x  , y   )
e
1
d ( fx, fy )
 j 2 ( f x +  f y )
e j 2 ( x +  y )
d ( f x , f y   )
cos2 ( x +  y ) 
1
d ( f x   , f y   ) + d ( f x +  , f y +  )
2
sin 2 ( x +  y ) 
1
d ( f x   , f y   )  d ( f x +  , f y +  )
2j
03c.14
© W. Philips, Universiteit Gent, 1999-2012
versie: 19/10/2011
Grafische weergave distributies
Distributies kunnen niet als grafiek worden weergegeven
symbolische weergave met pijlen
Voorbeeld:
2d ( f x   ) + d ( f x +  )
2
1


fx
03c.15
© W. Philips, Universiteit Gent, 1999-2012
versie: 19/10/2011
Opmerkingen
Eigenschap: f (x,y)d (x-a,y-b)=f (a,b)d (x-a,y-b)
Eén-dimensionale definitie:

1

1
p0 ( x / ) f ( x)dx  f (0)
 d ( x) f ( x)dx  lim
0  


x
1
Let op met “rekenregels”
•wat is d (x)d (x)?  resultaat is niet gedefineerd!


p0(x)

1
1
p0 ( x / )d ( x) f ( x)dx  lim  p0 ( x / )d ( x) f ( x)dx
 d ( x) d ( x) f ( x)dx  lim
0  
 0 



1
niet correct: geldt enkel voor
 lim p0 (0) f (0)  
functies, maar niet voor d (x)f(x)
 0 
•opmerking: ook met producten als d (x)d (y) kunnen problemen ontstaan
03c.16
© W. Philips, Universiteit Gent, 1999-2012
versie: 19/10/2011
Overzicht
Optische beeldvorming
•lenzen, puntspreidingsfuncties…
•Fouriertransformaties en distributies
Spatiale bemonstering
•cameramodel, aliasing
•bemonsteringstheorie, roosters, reciproke roosters,
beeldreconstructie uit monsters
Praktische aspecten voor beeldverwerking
resolutie van camera’s en weergavesystemen
bemonsteringsstrategie
kleurencamera’s
Temporele bemonstering
03c.17
Spatiale bemonstering
© W. Philips, Universiteit Gent, 1999-2012
versie: 19/10/2011
Model voor een camera
b0(x,y)
x, k
h(x,y)
bi(x,y)
y, l
Beeld 1 Optisch systeem
Camera: CCD (Chargedcoupled device) pixelmatrix
Een pixelsensor meet de beeldintensiteit in de omgeving van (xk,yl)
bkl   bo ( xk  x' , yl  y ' ) w( x' , y ' )dx' dy '  (bo  w)( xk , yl )  b( xk , yl )
gewichtsfunctie, b.v. w(x,y)=1
voor |x|< en |y|< en 0 daarbuiten
Opmerking: bkl  b( xk , yl ) met b( x, y )  (bi  h  w)( x, y )  (b  h' )( x, y )
 wiskundig model: lineair filter, gevolgd door “ideale” bemonstering
03c.19