Van waarden naar kleur+transparantie

Medische Datavisualisatie
Van 3D scans naar beelden
prof. dr. Alex Telea
Department of Mathematics and Computer Science
University of Groningen, the Netherlands
www.cs.rug.nl/svcg
Medische visualisatie: overzicht
patiënt in scanner
3D scandata
3D beeld
Doel
•
•
•
gegeven een patiënt, produceer een realistisch 3D beeld van de weefsels erin
beeld kan gebruikt worden voor diagnose, pre-operatieve planning, …
beeldvorming: 2-stappenproces
• acquisitie van de 3D scan zelf met behulp van een scanner (scanning)
• Constructie van het 3D beeld vanuit de 3D scan (visualisatie)
www.cs.rug.nl/svcg
Scanningstechniek
patiënt in scanner
3D scandata
3D beeld
Doel
•
•
•
gegeven een patiënt, produceer een realistisch 3D beeld van de weefsels erin
beeld kan gebruikt worden voor diagnose, pre-operatieve planning, …
beeldvorming: 2-stappenproces
• acquisitie van de 3D scan zelf met behulp van een scanner (scanning)
• Constructie van het 3D beeld vanuit de 3D scan (visualisatie)
www.cs.rug.nl/svcg
Toepassingen: Forensische studies
2D X-ray (Röntgen) foto
3D scan visualisatie
•
beide beelden laten fracturen van botstructuur zien
• 2D beeld: minder goed zichtbaar, relatieve positie van botten hard te begrijpen
• 3D beeld: details goed te zien en plaatsen in de context
•
nuttig bij posttraumatische analyses
www.cs.rug.nl/svcg
Toepassingen: Preoperatieve planning
2D X-ray foto
(voor operatie)
•
3D beeld
3D beeld
(voor operatie) (na operatie, met metaalstaaf)
Helpt chirurgen in het
• herkennen van het type trauma
• bepalen van de exacte plek van interventie
• minimaliseren van de interventieomvang en duur
www.cs.rug.nl/svcg
Toepassingen: Neurochirurgie
hersenscan met
tumor (in blauw)
•
hersenscan met tumor (rood)
en slagaderen (blauw)
hersenscan met tumor
(blauw) en zenuwbanen
Helpt chirurgen in het
• herkennen van de exacte locatie van de tumor
• plannen van de chirurgie zodat belangrijke hersenstructuren vermeden worden
www.cs.rug.nl/svcg
Toepassingen: Functionele hersenstudie
hersenactivatie
gebieden
testpersoon in scanner doet
een activiteit (bvb tekst lezen)
•
helpt neurowetenschappers in het
• Bepalen van welke hersenregio’s verantwoordelijk zijn voor bepaalde activiteiten
• Beter begrijpen van de werking van de hersenen
www.cs.rug.nl/svcg
Toepassingen: Anatomie
zenuwbanen (echt beeld)
zenuwbanen (illustratief beeld)
•
zenuwbanen (3D scan)
hart
schouder (botstructuur)
helpt geneeskundestudenten in het
• beter begrijpen van de (menselijke) anatomie
www.cs.rug.nl/svcg
Toepassingen: For fun
3D full-body scan
•
3D scan van een plant
helpt informatica-onderzoekers in het verder ontwikkelen van betere visualisatiealgorithmes
www.cs.rug.nl/svcg
Scanningstechniek – 2D
X-ray bron
fotoplaat
straling
oud X-ray apparaat
eerste X-ray foto (1985)
X-ray acquisitie (1945)
X-ray (Röntgen) fotografie
•X-ray bron geplaatst achter patiënt
•fotogevoelig plaat geplaatsr voor patiënt
•plaat registreert, op elk punt, de weefseldichtheid langs de straal die dat punt raakt
• lage dichtheid (bvb lucht): plaat wordt wit
• hoge dichtheid (bvb botten): plaat wordt zwart
•Produceert 2D beelden van weefselstructuur
www.cs.rug.nl/svcg
Scanningstechniek - 3D
3D scanner
2D plakken (slices)
3D scan volume
3D scanning (Computer Tomography – CT)
•X-ray bron draait om patiënt heen
•meerdere (100..500) plaatjes opgenomen vanuit verschillende hoeken
•Plaatjes worden geassembleerd in een 3D scan volume (kubus)
•Waarden in de 3D scan
• laag: lage weefseldichtheid
• hoog: hoge weefseldichtheid
Hoe kunnen we dit 3D volume visualiseren?
www.cs.rug.nl/svcg
Simpele transparantie
• teken elk 2D plakje in de 3D scanvolume (van achteren naar voren)
• maak de plakjes transparant op basis van de data
• Lage waarden = lage dichtheid = hoge transparantie
• Hoge waarden – hoge dichtheid = lage transparantie
gebruik ook kleur
(lage waarden = blauw,
hoge waarden = rood)
zwart-wit visualisatie
(lage waarden = zwart + transparant,
hoge waarden = wit + ondoorzichtig)
Resultaten niet makkelijk te interpreteren
www.cs.rug.nl/svcg
Volumevisualisatie
•
•
neem elk pixel p van het scherm
trek een straal (lijn) loodrecht op het scherm door de datavolume D
• meet de datawaarden op elk punt langs de straal in de volume
• converteer elke waarde tot een kleur en een transparantie
• tel de kleuren en transparanties op
• Teken de resulterende kleur op de pixel p
•
produceert heel realistische resultaten
•
de ‘kunst’ is om de conversie van
waarden naar kleuren en transparantie
goed te doen (!)
www.cs.rug.nl/svcg
Van waarden naar kleuren+transparantie
Eerste voorbeeld: Harde weefsels
• Bereken maximumwaarde w langs de straal
• Teken w met grijswaarden
• w is laag: zwart
• w is hoog: wit
Hoofd CT visualisatie
•wit= lage dichtheid (lucht)
•zwart = hoge dichtheid (bot)
•Grijs = andere weefsels
Goed, maar geen 3D gevoel
(schaduwen, diepte, …)
www.cs.rug.nl/svcg
Van waarden naar kleur+transparantie
Tweede voorbeeld: X-ray simulatie
•Bereken gemiddelde waarde langs een straal
•Teken deze met grijswaarden (laag=zwart+transparant, hoog=wit+ondoorzichtig)
•Hetzelfde als een X-ray!
•Minder contrast dan bij de hard-weefsel instellingen…
Hard weefsel
Gemiddelde dichtheid
Diffusion tensor: measured by a technique called DT-MRI (diffusion tensor magnetic resonance imaging)
Van waarden naar kleur+transparantie
Derde voorbeeld: Oppervlakken
• kies een waarde w van interesse (bvb: dichtheid van bot)
• loop over de waarden u langs elke straal
• als u=w, teken met een gegeven kleur, zonder transparantie
• anders, teken niets (transparantie=maximaal)
• Toont het oppervlak van weefsel met dichtheid w
Botstructuur
Hart + bloedvaten
Belichting
• voegt extra realisme toe aan de visualisatie
• 3D diepte beter te onderscheiden
zonder belichting
met belichting (1)
met belichting (2)
www.cs.rug.nl/svcg
Van waarden naar kleur+transparantie
Gebruiker ‘tekent’ een grafiek van een functie y=f(x)
• x as: kleurenwaarden voor bepaalde dichtheidswaarden (van laag naar hoog)
• y as: transparantiewaarden (van volledig transparant naar ondoorzichtig)
ontransparant
kleuren
transparant
lage waarden
hoge waarden
kleuren+transparantiegrafiek
resultaat
Voorbeelden
3D volumevisualisatie toepasbaar ook buiten medisch gebied
a)
b)
c)
d)
(c)
Elektrisch veld dichteid in molecuul
Autoonderdeel
Plant
Vis
(d)
www.cs.rug.nl/svcg
Software
• 3D volumevisualisatie is heel rekenintensief!
• versnelling door middel van moderne (programmeerbare) grafische kaarten
• gebruikers kunnen visualisaties assembleren van voorgemaakte ‘componenten’
• visueel programmeren
• eenvoudig te gebruiken zelfs door de non-experts
MeVisLab visualisatie-tool (www.mevislab.de)
•
•
•
•
visueel programmeren
professionele resultaten
open-source
Windows, Linux, Mac OS X
Wordt gedemonstreerd in de
praktische sessie
Bedankt voor jullie interesse!
www.cs.rug.nl/svcg