B i g I mages - Kees van Overveld

Big Images
Universiteitscollege TU/e 2011
Kees van Overveld
-1-
Big Images
Inleiding: wat is kijken?
Oefening 1.
• Beschrijf in ten hoogste één, zo kort
mogelijke zin (<20 woorden) het meest
in het oog springende van wat je zo
dadelijk ziet.
‘Ik zie …’
Kees van Overveld
-2-
Kees van Overveld
-3-
Kees van Overveld
-4-
Big Images
Inleiding: wat is kijken?
Antwoorden:
1.
2.
3.
4.
5.
6.
7.
8.
Ik zie licht van de beamer teruggekaatst vanaf het projectiescherm
Ik zie een verdeling van lichte tinten in het midden, bruinachtige naar
Al deze antwoorden
de randen
zijn mogelijke
Ik zie overwegend gladde kleurverdelingen,
maar in het midden
korrelig en aan de rand vlekkerig
interpretaties van wat
Ik zie een paar lichte, afgeronde,
2D vormen
hetsymmetrische
is waarnaar
je kijktin het
midden en een afgeronde driehoek linksonder
Ik zie een ruwweg bolronde vorm in het midden en een paar
afgeplatte liggende 3D vormen daaronder
Ik zie een kopje cappuccino en een krant
Ik zie dat het kopje bijna vol is, en de krant is dichtgeslagen
Ik zie het zorgeloze begin van een veelbelovende vakantiedag in
Italië
Kees van Overveld
-5-
Big Images
Inleiding: wat is kijken?
Antwoorden:
1.
2.
3.
4.
5.
6.
7.
8.
Ik zie licht van de beamer teruggekaatst vanaf het projectiescherm
Ik zie een verdeling van grijstinten
Ik zie overwegend gladde grijsverdelingen, maar op sommige
plaatsen korrelig
Ik zie een paar donkere lijnen, een paar krullen, stippen en vlekken
Ik zie een waarschijnlijk plat vlak met daarin een aantal zwarte
vormen
Ik zie een paar sporen van elementaire deeltjes in een bellenkamer
Ik zie een reactie tussen sub-atomaire deeltjes met verschillende
ladingen en massa’s waarbij impuls ontbreekt
Ik zie de eerste detectie van een neutrino in een bellenkamer
Kees van Overveld
-6-
Big Images
Inleiding: wat is een beeld?
Oefening 2.
• Voor de beelden van zo-even, leg uit
waar ze zich bevinden.
• Hint: er zijn minstens 10 verschillende
correcte antwoorden
Kees van Overveld
-7-
Big Images
Inleiding: wat is een beeld?
Antwoorden:
•
•
•
•
•
•
•
•
•
•
al deze
In het museum, resp. de bellenkamerOok
waar hier:
de reactie
plaats vond OP
HET MOMENT VAN DE REACTIE antwoorden zijn
In lunchroom Peacock in de Heuvelgalerie,
waar
vO deze foto gemaakt
mogelijke
interpretaties
heeft, resp. het archief van Wikipedia
van wat het is
Op de harde schijf van vO’s computer
waarnaar je kijkt
In de beamer
In de ruimte tussen beamer en scherm, of tussen scherm en oog
In het oog van de kijker
In het netvlies van de kijker
In het brein van de kijker
In de geest van de kijker
In de geluidsgolven in deze zaal terwijl wij erover praten
Kees van Overveld
-8-
Big Images
Inleiding: wat is een beeld?
We weten zeker dat een beeld zich in ons hoofd kan bevinden
(‘ik droom dus ik zie’: onmiddellijke toegang tot ons ‘intern omnimax
theater’)
ALLE andere
antwoorden zijn
alleen maar soms
van toepassing.
Dus: het enige dat
met zekerheid voor
elk beeld geldt, is
dat het een mentale
representatie heeft,
en dus subjectief is.
Kees van Overveld
-9-
Big Images
Inleiding: wat is een beeld?
Twee problemen:
1.
We weten niet hoe iets er ‘echt’ uitziet
Onderling evenwijdige,
loodrechte lijnen of
De ongeziene en onzichtbare krommen?
wereld van de eiwitfabrieken in
een biologische cel?
De wereld en wat er zich omheen
bevindt in zijn volle totaliteit?
Kees van Overveld
-10-
Big Images
Inleiding: wat is een beeld?
Twee problemen:
2. We weten niet hoe iemand anders’ privé omnimax theater eruit ziet
Kees van Overveld
-11-
Big Images
Inleiding: wat is een beeld?
Maar hoe kunnen we dan WEL iets intersubjectiefs te
weten komen over beelden???
Kees van Overveld
-12-
Big Images
Inleiding: wat is een beeld?
Antwoord:
Door het wonder van de equivalentie en de
aangeboren neiging tot clusteren van ons brein.
Kees van Overveld
-13-
Big Images
Inleiding: wat is een beeld?
Antwoord:
Door het wonder van de equivalentie en de
aangeboren neiging tot clusteren van ons brein.
deze lijken meer op
elkaar …
… dan deze
‘Lijken op’ ’kleur’
Kees van Overveld
-14-
Big Images
Inleiding: wat is een beeld?
Antwoord:
Door het wonder van de equivalentie en de
aangeboren neiging tot clusteren van ons brein.
deze lijken meer op
elkaar …
… dan deze
‘Lijken op’ ’vorm’
Kees van Overveld
-15-
Big Images
Inleiding: wat is een beeld?
Antwoord:
Door het wonder van de equivalentie en de
aangeboren neiging tot clusteren van ons brein.
deze lijken
meer op
elkaar …
… dan deze
‘Lijken op’ ’grootte’
Kees van Overveld
-16-
Big Images
Inleiding: wat is een beeld?
Voorlopige conclusie:
Een zichtbare eigenschap
(‘kleur’, ‘vorm’, ‘grootte’, …)
is hetzelfde als
‘een manier van clusteren’
ofwel
een equivalentierelatie
Kees van Overveld
-17-
Big Images
Inleiding: wat is een beeld?
Vraag: wat is een equivalentierelatie?
Antwoord: een uitspraak over relateerbaarheid
van twee elementen uit een verzameling,
bijvoorbeeld: ‘even zwaar’, ‘dezelfde vader’,
‘grenst aan’, …
Kees van Overveld
-18-
Big Images
Inleiding: wat is een beeld?
Voorbeeld (‘evenveel’):
~
~
~…
de klasse van alle verzamelingen van drie
elementen, kortweg ‘DRIE’
~
~
~…
de klasse van alle verzamelingen van vier
elementen, kortweg ‘VIER’
Kees van Overveld
-19-
Big Images
Inleiding: wat is een beeld?
Dus:
dus: geen
Equivalentierelaties laten klassen ontstaan van
buitenbeentjes
dus: zijn:
geende
elementen die elk onderling equivalent
overlap
zgn. equivalentieklassen.
Equivalentieklassen zijn disjunct en
overdekkend.
Een equivalentieklasse vormt een geschikte
manier om een abstracte grootheid te definiëren
(zoals DRIE of VIER als equivalentieklassen
van ‘evenveel’).
Kees van Overveld
-20-
Big Images
Inleiding: wat is een beeld?
Toepassen op beelden:
•‘Lijkt op’ is (bijna) een equivalentierelatie.
•‘Lijkt op v.w.b. kleur’ heeft als equivalentieklassen
ROOD, GROEN, … etc
•‘Lijkt op v.w.b. vorm’ heeft als equivalentieklassen
ROND, VIERKANT, … etc
•‘Lijkt op v.w.b. grootte’ heeft als equivalentieklassen
GROOT, KLEIN, … etc
Kees van Overveld
-21-
Big Images
Inleiding: wat is een beeld?
Toepassen op beelden:
Onvermijdelijke tekortkoming van ons
brein (en elk meetinstrument) maar
tegelijkertijd evolutionair voordeel, mits
de cluster’grenzen’ evolutionair zinvol
aangebracht kunnen worden
•‘Lijkt op’ is (bijna) een equivalentierelatie.
… maar niet helemaal: transitiviteit geldt alleen bij
benadering.
… lijkt NIET op …
VARIANTEN: de spreiding
binnen een
equivalentieklasse
..lijkt op..
..lijkt op..
..lijkt op..
..lijkt op..
de woorden die we gebruiken
om eigenschappen van
beelden aan te duiden
Kees van Overveld
… en dit geldt ook
voor texturen, vormen,
3-D oppervlakken,
objecten, relaties en
betekenissen
INVARIANTEN: de
opdeling van het zichtbare
in equivalentieklassen
-22-
Big Images
Inleiding: wat is een beeld?
Voordeel van deze ‘truc’ (=beschrijven van het zichtbare in termen van
equivalentierelaties):
We hoeven ons niet meer druk te maken over de
essentiële betekenis van ‘rood’ (net zo min als we
hoeven te tobben over de essentiële betekenis van
‘drie’).
In plaats daarvan kunnen we ons concentreren op
•
interpretaties van ‘lijkt op’: soorten van ‘gelijkenisuitspraken’.
•
identificeren van varianten
•
identificeren van invarianten
Kees van Overveld
-23-
Big Images
Inleiding: wat is een beeld?
Er zijn heel veel interpretaties van ‘lijkt op’,
ofwel ‘doet me denken aan’. (jigSaw!)
Gemeenschappelijk voor allemaal:
Elke benoembare eigenschap van een
beeld is een ‘hier – dit’ relatie,
waarbij ‘hier’ een plaatsaanduiding is, en
‘dit’ één of andere equivalentieklasse.
Kees van Overveld
-24-
Big Images
hier is
cilindrisch
Inleiding: wat is een beeld?
hier is groter
dan
hier is
saxofoon
hier is
blauw-witte
strepen
hier is smakeloos
cliché (of: hier is
aanmoediging
om beeldjes te
kopen)
hier is blauw
hier is ellips
Kees van Overveld
-25-
Big Images
Inleiding: wat is een beeld?
Allerlei soorten ‘hier’:
•‘Punten’ (die geen deel hebben … Euclides!)
•(Open)
omgevingen
•(Gesloten)
gebieden
•aangrenzendheid, samenhangendheid,
samentrekbaarheid (= geen gaten), …
Kees van Overveld
alle perceptuele intuïties waar
de meetkunde (en de (algebraïsche)
topologie) sinds 2500 jaar probeert
(met meer of minder succes) een
samenhangend en consistent
verhaal van te maken, met
uitvindingen (constructen) zoals
‘lijn’, ‘lineair’, ‘coördinaat’,
‘reële getallen’, ‘vector’, … tot
gevolg.
-26-
Big Images
Inleiding: wat is een beeld?
Allerlei soorten ‘dit’:
•Traditioneel zelden systematisch
geclassificeerd
•Duiken in allerlei vakgebieden op met
niet overal dezelfde interpretaties
•Grens tussen ‘zichtbare’ en ‘niet
zichtbare’ ditten is niet altijd duidelijk:
Kees van Overveld
-27-
Big Images
‘Ditten’(beeldeigenschappen) in lagen
Voorstel: groepeer beeldeigenschappen
Groepen zijn te ordenen
Eigenschappen in groep n ‘volgen uit’ eigenschappen
in groep n-1
… maar hoezo ‘volgen’?
Beschouw een visueel communicatieproces, en kijk
naar het coderen en decoderen.
Kees van Overveld
-28-
Big Images –
1.Kom je morgen
koffie drinken?
2.Voer reeks letters
in middels
toetsenbord
3. Bits en bytes
4A. Elektrische
stroompjes of
licht in glasvezel
Kees van Overveld
Representeren van beelden
virtuele communicatie III
7. Begrip van de
boodschap
virtuele communicatie II
6. Letters op
beeldscherm
virtuele communicatie I
fysieke communicatie
5. Software
4B. Elektronische
detectoren
-29-
Big Images –
Representeren van beelden
representatie:
Lastig om te zeggen wat een representatie is, maar:
•Kan omgezet worden in andere representatie
•Kan vervangen worden door andere representatie
terwijl boven- en onderliggende lagen gelijk blijven
(varianten!)
•Speelt een rol in een reeks representatie-omzettingen
om één of ander doel te bereiken (daarbij blijven de
invarianten behouden)
•Bij beelden: een representatie kan opgevat worden
als een reeks ‘hier-dit’ uitspraken
In dit voorbeeld:
Varianten: kleurtoon, reflectiviteit, dikte
v.d. rand, …
Kees van Overveld
Invarianten: kleurverzadiging, vorm,
textuur
-30-
Big Images –
Representeren van beelden
representaties in de context van communicatie:
•1ste reeks van representaties: zender
•2de reeks van representaties: ontvanger
•Zender: begint proces met aanvankelijke communicatieaanleiding
•Ontvanger: eindigt proces met begrip van ontvangen
boodschap
•Zender en ontvanger verbonden met tenminste een fysieke
link
•Virtuele communicatielinks tussen alle tussenliggende
representaties
Kees van Overveld
-31-
Big Images –
1.
Representeren van beelden
virtuele communicatie
Representatie omzetting
2. R
Representatie omzetting
virtuele communicatie
Representatie omzetting
3. R’ codeert R
Kees van Overveld
6. R’ decodeert R
Representatie omzetting
virtuele communicatie
Representatie omzetting
4A.
7.
5. R
Representatie omzetting
fysieke communicatie
4B.
-32-
Big Images –
Representeren van beelden
Naar een gelaagde structuur van dit-hier uitspraken om
beelden te representeren
doel:
•Kennis, modellen en theorieën bij elkaar brengen over de fysica van
licht, biologie, perceptie, beeldtechnologie, kunstgeschiedenis,
beeldcultuur en filosofie
•Analogieën te laten zien tussen natuurlijke en kunstmatige beeldzendende en beeld-ontvangende systemen
•Lagen en de omzettingen daartussen te verduidelijken bij beeldgerelateerde toepassingen
•De nomenclatuur van verschillende vakgebieden op elkaar af te
stemmen
Kees van Overveld
-33-
Big Images –
Representeren van beelden
Wie zijn de zender en de ontvanger?
•zender:
•natuurlijk
•kunstmatig
•Zonder computer ondersteuning
•Computer-gebaseerd
•ontvanger
•natuurlijk (MVS, biologische systemen)
•kunstmatig
•Zonder computer ondersteuning (analoge camera)
•Computer-gebaseerd
Kees van Overveld
-34-
Big Images –
Representeren van beelden
Soorten zenders
Soorten ontvangers
natuurlijk
kunstmatig (computer
grafiek)
kunstmatig (nietcomputer
grafiek)
MVS /
Evolutie en werking
biovan het MVS
logische
visuele
systemen
Principes van
computer grafiek
Technieken in
beeldende kunst
en grafische
vormgeving;
interpretatie van
stijlen en
stromingen in de
kunstgeschieden
is
Beeldher- Mechanismen in
kennings beeldbewerking,
systemen beeldanalyse en
Digitale watermerken,
barcodes, beeld(de)codering, …
Voorzieningen
voor
automatische
productie en
logistiek
(robots)
beeldherkenning
Kees van Overveld
-35-
Big Images –
Representeren van beelden
Welke lagen komen voor in een gelaagd
referentiemodel?
•Onderste laag: lichtstralen (fysieke communicatie)
•Bovenste laag: bedoeling en effect
Oorzaak en/of
bedoeling
Het netto effect van visuele communicatie
Betekenis en/of
effect
Verzenden van
lichtstralen
lichtstralen
Ontvangst van
lichtstralen
Kees van Overveld
-36-
Big Images –
Representeren van beelden
Een 2-laags model is te eenvoudig:
•We hebben lagen nodig om te kunnen praten over
•Representaties in termen van …
•Kleuren, texturen, vormen, oppervlakken, objecten,
relaties en betekenissen
•Representatie-omzettingen zoals …
•Zenden en reflecteren van licht
•Bemonsteringen discretisatie
•Randen vinden
•Interpreteren van 2D als geprojecteerd 3D
•Begrijpen, herkennen en klassificieren van objecten
en relaties tussen objecten
Kees van Overveld
•Daartoe stellen we 8 lagen voor
-37-
Big Images –
Representeren van beelden
betekenis
relaties
objecten
oppervlakken
vormen
textuur
kleurenverdeling
lichtstralen
Kees van Overveld
-38-
Big Images –
Representeren van beelden
Samenvatting; belangrijkste concepten:
•Clusteren: natuurlijke neiging van het brein
•Attributen en waarden: eigenschappen op grond
waarvan clusters ontstaan
•Hier-dit relaties; een beeld als collectie hier-dit relaties
•Equivalentie ononderscheidbaarheid: manier om het
subjectiviteits-probleem te omzeilen
•Equivalentieklassen: collectie van ononderscheidbare
waarden voor een bepaald attribuut
•Varianten en invarianten: wat verloren gaat resp.
behouden blijft bij representatieconversie
•Coderen en decoderen: bij de zender resp. ontvanger
•Fysieke en virtuele communicatie
•Lagen met representaties en representatieconversie
Kees van Overveld
-39-