Shape from Shading - Technische Universität Dresden

Proseminar - Aufgabenstellungen der Bildanalyse und Mustererkennung SS09 

Shape from Shading 1/24 

Gliederung 

▪ Informationen im 2D-Bild 

& bestehende Verfahren 

▪ Shape from Shading / Photometric Stereo 

▪ Übersicht 

▪ Grenzen 

▪ Versuchsaufbau 

▪ Shading Modelle und Reflectance Map 

▪ Photometric Stereo - Oberflächenrekonstruktion 

▪ Shape from Shading - Oberflächenrekonstruktion 

▪ Kombination SfS/PS 

▪ Vergleich der Ergebnisse 

▪ Anwendungsbsp.: DotScan 

Frank Zimmer, Ron Hiepel | Technische Universität Dresden | Fakultät Informatik



Informationen im 2D-BIld 

▪ Silhuette, Verdeckung 

bestehende Verfahren: 

▪ Stereoauswertung 

▪ Shape from Focus 

▪ Shape from Motion 

▪ Shape from Texture 

▪ Lichtradar 

▪ Laser-Lichtschnittverfahren 

▪ ... 






▪ Shading 








▪ ... 







▪ Shadows 








▪ ... 







▪ Shadows 

▪ Textur 








▪ ... 







▪ Shadows 

▪ Textur 

▪ Fokus 








▪ ... 




Allgemeines 

Ursprung: 

▪ 1966 Thomas C. Rindfleisch (Planetologie) 

▪ 1970 B. Horn (Computer Vision) 

Ziel: 

Beschreibung einer 3-dimensionalen Szene aus einem/mehreren 2D Bildern 

Beschreibungen von 3D Formen: 

▪ Tiefe Z(x,z) des Bildpunktes P’ 

▪ Oberflächennormale (nx,ny,nz) 

▪ Oberflächengradienten (p,q) 

▪ Neigungs- und Schrägheitswinkel 




Ansätze - Rekonstruktion durch Unterschiede in den Grauwerten 

globale Minimierungsansätze: 

▪ Bestimmung der Oberflächeneigenschaften durch Minimierung der 

Energiefunktion 

globale Ausbreitungsansätze: 

▪ propagieren die Oberflächeninformationen 

ausgehend 

von bekannten Oberflächenpunkten 

über das gesamte Bild 

globale 

Ansätze 

SFS 

lokale 

Ansätze 

lokale Ansätze: 

▪ betrachten nur Strahlungsintensitäten 

in nächster Nähe 

eines Oberflächenpunktes 

globale Minimierungsansätze 

globale Ausbreitungsansätze 

Ziel aller Methoden: 

bei gegebenem: 

▪ Grauwertbild, Lichtquelle 

die Oberflächennormale fuer jedes Pixel zu bestimmen 




Beleuchtungsmodelle 

Problem: 

Für die Bestimmung der Oberflächennormalen muss der Bildaufbau bekannt sein 

Modelle: 

▪ Beziehungen zwischen Lichtquelle, Oberfläche und Bildpunkt 

▪ in erweiterten Modellen auch Bezug zum Betrachter 

▪ Lambert 

▪ Phong 

▪ Lommel-Seeliger 

▪ ... 




Modellannahmen 

Faktoren in der Realität: 

▪ mehrere Lichtquellen, global Illumination, Transparenz (Atmosphäre) 

▪ Spiegelung, Absorption, Schatten 

Annahmen: 

▪ Licht “leuchtet” konstant (Intensität) 

▪ bekannte Lichtrichtung 

▪ stetige Oberfläche 

(1) 

▪ konstante Albedo 

Probleme: 

▪ wenn Beschreibung durch Oberflächennormale, dann lineare Gleichung mit 

3 Unbekannten (nx,ny,nz) 

▪ wenn Beschreibung durch Oberflächengradienten, dann nicht-lineare Gleichung 

mit 2 Unbekannten (p,q) 

(1): Albedo ist ein Mass für das Rückstrahlvermögen von diffus reflektierenden Oberflächen. 

Schnee: 0.8 - 0.9/Asphalt: 0.15/Mond: 0.12 

Quelle: Wikipedia 




SfS/PS - Versuchsaufbau 

Verfahren unterscheiden sich in: 

▪ Anzahl der Bilder 

▪ Reflektanzfunktion der Oberfläche 

▪ Randbedingungen 

▪ Kamera - perspektivisch oder orthografisch 

▪ Licht - Punktlicht oder direktionales Licht 




SfS/PS - Versuchsaufbau 

▪ Rekonstruktion der Oberfläche aus Grauwertbild(ern) in 2 Schritten: 

Ermitteln der Gradienten 

Erstellen der Höhenkarte/ 

Oberfläche 

= ( , ) 

Gradienten p,q 

s 

n 

k 

q 

p 

= 

= 

( , ) 

( , ) 

Z 

Y 

X 

Normale 

1 

0 × 

0 

1 = 

− 

− 

1 

= 




SfS/PS - Shadingmodelle 

▪ Beschreibung der Materialeigenschaften - wieviel Licht wird in welche Richtungen 

reflektiert 

lˆ 

nˆ 

α 

ε 

rˆ 

ê 

L cos( ) L r cos( ) r (cos( )) 

lambert 

r d 

phong 

d 

s 

▪ unabängig vom Beobachter 

▪ nur diffuse Reflektion 

▪ blickpunktabhängig 

▪ neben diffuser auch spekulare Reflektion 




SfS/PS - Reflektanzkarte 

▪ für Reflektanzkarte wird Reflektanzfunktion 

herangezogen: 

a) Lambert’sche Reflexion 

q e 

q 

R=1 

R=0 

p e 

p 

b) Glänzende Reflexion 

q 

( i, 

e, 

g) 

I cos( i) 

p 

▪ R(p,q) - Reflektanzkarte gibt an, wie hell ein 

Punkt in Abhängigkeit von Orientierung erscheint 

( , ) = cos( ) = 

1 + + 

1 + 2 + 

2 

1 + 2 + 

2 




Mehrdeutigkeiten 

▪ Lichtposition(en) sollten bekannt sein 

▪ Berechnung der Lichtposition möglich z.B. bei Lee and Rosenfeld 




Mehrdeutigkeiten 

▪ Lichtposition(en) sollten bekannt sein 

▪ Berechnung der Lichtposition möglich z.B. bei Lee and Rosenfeld 




SfS/PS - Reflektanzkarte 

1 

gegebene Normale/Gradienten p,q 

→ liefert eindeutigen Helligkeitswert 

2 

gegebener Helligkeitswert R(p,q) 

→ mehrere Normalenrichtungen p,q möglich 




PS - Oberflächenrekonstruktion 

▪ Annahme: I(x,y) = R(p,q) (brightness equation) 

▪ Gleichungssystem ist jedoch unterbestimmt 

→ bestimmte Randbedingungen an Oberfläche stellen 

→ oder: Aufnahme mehrerer Bilder 

1( , ) = 1 ( , ) 

2( , ) = 2 ( , ) 

3( , ) = 3 ( , ) 

= 

1 

2 

3 

= 

1 1 1 

2 2 2 

3 3 3 

= 

− 

− 

1 

= 

= | 

− 1 

| 

= 

− 

: = ( / ) ( ) − 





▪ Rekonstruktion der Oberfläche aus Grauwertbild(ern) in 2 Schritten: 

Ermitteln der Gradienten 

Erstellen der Höhenkarte/ 

Oberfläche 





▪ sei g(x,y) Vektor, der die Normale und Albedo enthält mit 

1( , ) 

( , ) = 2( , ) 

3( , ) 

▪ dann sind die partiellen Ableitung wie folgt definiert: 

( , ) = 

( , ) = 

1 ( , ) 

3 ( , ) 

2 ( , ) 

3 ( , ) 

▪ es muss gelten: 

1 ( , ) 

3 ( , ) 

= 

2 ( , ) 

3 ( , ) 

▪ die Oberflächenhöhe kann nun mittels Integration entlang eines Pfades erfolgen z.B. 

( , ) = ∫ ( , ) + ∫ ( , ) + 

0 

0 




SfS - Oberflächenrekonstruktion 

Minimization Propagation Local 

Ikeuchi & Horn (81) Horn (70) Pentland (84) 

Brooks & Horn (85) Rouy & Tourin (92) Lee & Rosenfeld (85) 

Frankot & Chellappa (88) Dupuis & Oliensis (92) Pentland (88) 

Horn (89) Kimmel & Bruckstein (92) Tsai & Shah (92) 

Malik & Maydan (89) Bichsel & Pentland (92) 

Szeliski (91) 

Zheng & Chellappa (91) 

Lee & Kuo (91) 

Leelere & Bobiek (93) 

Vega & Young (93) 




SfS - Oberflächenrekonstruktion - Minimalisierungsansatz 

▪ Minimalisierung einer Energiefunktion innerhalb 

des betrachteten Bereiches 

▪ setzt sich aus verschiedenen Ranbedingungen 

zusammen 

F brig ht (p, q) = (I(x, y) − R(p, q)) 2 dx dy 

Ω 

F smoot h (p x , p y , q x , q y ) = p x 2 + p y 2 + q x 2 + q y 2 dx dy 

Ω 

F integ (p y , q x ) = p y − q x 2 dx dy 

Ω 

▪ Lösung z.B. mittels Eulerscher Differentialgleichungen, 

Jakobi-Verfahren oder Gauss- 

Seidel-Verfahren 

((R x − I x ) 2 + (R y − I y ) 2 ) dx dy 

Ω 

(N⃗ 2 − 1) dx dy 

Ω 

Fp, q, p x , p y , q x , q y = F smoot h p x , p y , q x , q y + λF brig ht (p, q) 




SfS - Oberflächenrekonstruktion - Ausbreitungsansatz 

▪ falls Reflektion linear, dann ist Reflektanzfunktion 

R als lineare Kombination der 

Gradienten darstellbar 

R(p, q) = f(ap + bq) 

I(x, y) = R(p, q) 

ap + bq = f −1 (I(x, y)) 

▪ Berechnung der Neigung der Oberfläche 

in Richtung ϑ zur x-Achse an 

m(θ) = p ∙ cos(θ) + q ∙ sin(θ) 

θ 0 = arctan b a 

cos(θ 0) 

sin(θ 0 ) = ⎛√a 2 + b 2 

⎞ 

b 

⎝√a 2 + b 2 ⎠ 

m(θ 0 ) = 

ap + bq 

√a 2 + b 2 

a 

= f−1 (I(x, y)) 

√a 2 + b 2 

▪ wenn Neigung für eine Richtung ermittelbar, dan kann Streifen 

ausgehend von einem bekannten Höhenwert erstellt werden 

δZ = m ∙ δφ 

δZ 

δφ = m(θ 0) = f−1 (I(x 0 , y 0 )) 

√a 2 + b 2 

φ 

Z(φ) = Z 0 + 

δZ 

δφ δφ 

= Z 0 + 

0 

1 

φ 

√a 2 + b 2 f−1 (I(x 0 + φ ∙ cos(θ 0 ), y 0 + φ ∙ sin(θ 0 )))δφ 

0 




Integration von SfS in PS 

Grundidee: 

▪ Verbesserung der Leistungsfähigkeit des Photometric Stereo Verfahrens 

▪ PS liefert initiale Höhenwerte und berechnet Rückstrahlvermögen 

▪ SfS liefert Detailinformationen für jede homogene Region 




Ergebnisse 

Reflektionsmodell: 

▪ Lambert 

Lichtquellen: 

▪ links: (0,0,1) 

▪ mitte: (1,0,1) 

▪ rechts: (5,5,7) 

Gewichtung: 

▪ wPS = 12.75 * wSFS 

Algorithmen: 

▪ Photometric Stereo 

▪ Lee-Rosenfeld 

▪ Tsai-Shah 

▪ PS mit Lee-Rosenfeld 

▪ PS mit Tsai-Shah 




Ergebnisse nach U. Sakarya und I. Erkmen 

Absolute Depth Error (ADE): 

Mean Depth Error (MDE): 




Vergleichsbilder 

(a) Lee-Rosenfeld 

(c) PS + Lee-Rosenfeld 

(e) reale Tiefe 

(b) PS 

(d) PS + Shah 




Anwendungsbeispiel - DotScan 

▪ Braillepunkteerkennung 

▪ Prägeschriften und Schlagzahlen 

▪ Planetologie 

▪ Archäologie 

▪ Medizin 




References 

Bin Xu, Lixin Tang, Hanmin Shi, 2007. Shape from shading based on needle map and 

cellular automata, 2007. 

Ruo Zhang, Ping-Sing Tsai, James Edwin Cryer, Mubarak Shah, 1999. Shape from 

Shading: A Survey, 1999. 

R.J.Woodham, Photometric Stereo 1978. 

Fassbender, A., 2004. Oberflächenrekonstruktion durch Shape-from-Shading und 

Photometric Stereo. 

Söll, S., Moritz, H., Ernst, H., 2006. 3D-Formmessung durch „Shape from Shading“ – 

Blindenschriftlesung und -inspektion auf bedruckten Faltschachteln. 

Machine Vision Excellence 2006, 7-19. 

Sakarya, U., Erkmen, I., 2003. An improved method of photometric stereo using local 

shape from shading. Image and Vision Computing, 2003, 941-954.

Shape from Shading - Technische Universität Dresden

Sie wollen auch ein ePaper? Erhöhen Sie die Reichweite Ihrer Titel.

Template löschen?

Als Template speichern?