Bildverarbeitung: 3D-Geometrie

Bildverarbeitung: 3D-GeometrieD. Schlesinger () Bildverarbeitung: 3D-Geometrie 1 / 13

Lochkamera ModellC – Projektionszentrum, Optische Achse, Bildebene,P – Hauptpunkt (optische Achse kreuzt die Bildebene), x – Bildpunkt, X – Weltpunkt3D-Koordinatensystem: Ursprung im Kamerazentrum, Z-Achse – optische AchseWeltpunkt X = [X 1 , X 2 , Z]x ist ein Punkt im 3D, d.h. x = [x 1 , x 2 , f ] mit Brennweite fProjektive Abbildung:x 1 = X 1 · f /Zx 2 = X 2 · f /ZNicht eineindeutig – einem x entsprechen alle X, die auf dem Strahl λ(x −C) = λx liegen.D. Schlesinger () Bildverarbeitung: 3D-Geometrie 2 / 13

Lochkamera ModellZoom:Radiale Verzerrung:D. Schlesinger () Bildverarbeitung: 3D-Geometrie 3 / 13

Homogene KoordinatenEin „Vektor“ h ∈ R 3 , d.h. h = [h 1 , h 2 , h 3 ] beschreibt die Menge der Strahlen im R 3mit X = λ · [h 1 /h 3 , h 2 /h 3 , 1]Topologisch gesehen ist diese Menge zweidimensional – redundante Beschreibung.Die Menge der Weltpunkte im R 3 wird auf Teilmengen partitioniert.Zwei Punkte X und X ′ gehören einer Teilmenge (Äquivalenzklasse, Strahl), wennX 1 /Z = X ′ 1 /Z ′ und X 2 /Z = X ′ 2 /Z ′In homogenen Koordinaten gibt es keine projektive Abbildung mehr, denn X und x sindbereits in einer Äquivalenzklasse – ein Strahl.Abbildung „Homogene Koordinaten → Bildkoordinaten“:x 1 = h 1 · f /h 3x 2 = h 2 · f /h 3D. Schlesinger () Bildverarbeitung: 3D-Geometrie 4 / 13

HomographieWie wird eine Ebene im R 3 auf eine andere Ebene im R 3 (z.B. Bildschirm) Abgebildet?Sei [λ 1 , λ 2 ] Koordinaten eines Punktes im Koordinatensystem der abzubildenden Ebene.Die Lage der abzubildenden Ebene im R 3 wird durch: b 0 ∈ R 3 (ein Punkt in der Ebene)und b 1 , b 2 ∈ R 3 (Basis, der die Ebene aufspannt) angegeben.Die 3D-Punkte der Ebene sind somit b 0 + λ 1 b 1 + λ 2 b 2 , d.h. X = H · [λ 1 , λ 2 , 1].Das sind zugleich die homogenen Koordinaten.Homographie ist eine lineare Transformation in homogenen Koordinaten.D. Schlesinger () Bildverarbeitung: 3D-Geometrie 5 / 13

Homographie – MosaikViele Ebenen (Bildschirme) werden auf eine abgebildet.D. Schlesinger () Bildverarbeitung: 3D-Geometrie 6 / 13

KamerakalibrierungKameraparameter (keine Verzerrung, quadratische Pixel):– intrinsische Parameter – Brennweite f , Hauptpunkt [P x, P y]– extrinsische Parameter – Position des Kamerakoordinatensystem in der Welt(3 Winkel in Form der 3 × 3 Rotationsmatrix R und 3D-Verschiebung t)x = PX =[ f 0 0 Px0 f 0 P y0 0 1 0][ R t·0 1⎡]· ⎣Kamerakalibrierung:Gegeben sei die Lernstichprobe ( (X, x) . . . ) , Gesucht werden die Kameraparameter.Bestimmung der Lage eines Objektes:Gegeben sind die Kameraparameter und Abbilder x, Gesucht werden die X.D. Schlesinger () Bildverarbeitung: 3D-Geometrie 7 / 13XYZ1⎤⎦

EpipolargeometrieSei t = O l − O r der Verschiebungsvektor.x l + t liegt in der (grünen) Ebene π (Koordinatensystem der linken Kamera wird um tverschoben)(x l +t)×t = (x l +t)[t] × steht senkrecht zur π ([t] × ist der Kreuzprodukt in der Matrixform)Derselbe Vektor in der Koordinatensystem der rechten Kamera ist a = (x l + t)[t] × Rx r liegt in π, d.h. 〈a, x r 〉 = 0Schließlich: (x l + t)[t] × Rx r = x l [t] × Rx r + t[t] × Rx r = x l [t] × Rx r = x l Ex r = 0mit Essential Matrix E = [t] × RD. Schlesinger () Bildverarbeitung: 3D-Geometrie 8 / 13

EpipolargeometrieEssential Matrix Eentspricht der Relation zwischen „metrischen“ Koordinatensystemen(z-Achse stimmt mit der optischen Achse überein, alle Abstände sind in mm gemessen)Fundamentalmatrix Fentspricht der Relation zwischen „Kamerakoordinatensystemen“(z-Achse ist zu der optischen Achse parallel, alle Abstände sind in Pixeln gemessen)Zusammenhang:E = K l FK r bzw. F = K −1l EKr−1 mit den Kameramatrizen K l und K r[ ]sx 0 P xK l|r =0 s y P y0 0 1s x und s y sind Pixelgrößen, (P x, P y) ist der Hauptpunkt.Zusammenfassend:x l Fx r = [ x l1 x l2 1 ] [ f 11 f 12 f 13f 21 f 22 f 23f 31 f 32 1] [xr1x r21]= 0mit den homogenen Kamerakoordinaten x l und x r .D. Schlesinger () Bildverarbeitung: 3D-Geometrie 9 / 13

EpipolargeometrieEpipolarlinien: Betrachtet man zu einem bestimmten x l alle gültigen x r ,so gilt x l Fx r = 〈x l F, x r 〉 = 0 (Liniengleichung im rechten Bild).Wichtiger Spezialfall: parallele Anordnung – die Bilder sind rektifiziert:– die optischen Achsen der Kameras sind zu einander parallel,– senkrecht zur Linie, die Projektionszentren verbindet,– die Bildschirme sind nicht „verdreht“D. Schlesinger () Bildverarbeitung: 3D-Geometrie 10 / 13

RektifizierungAuf beide Bilder werden Homographien angewendet so, dass die Bilder rektifiziert sind.Dafür ist das Wissen über die Szene nicht benötigt!!!D. Schlesinger () Bildverarbeitung: 3D-Geometrie 11 / 13

EpipolargeometrieDie Menge aller Punktepaare (x l , x r ) ist R 4 ,Die Menge aller gültigen Korrespondenzpaare (für die x l Fx r = 0 gilt)ist dem 3D-Raum homeomorph, d.h. R 3⇒ die Bedingung x l Fx r = 0 definiert eine 3D-Untermannigfaltigkeit im R 4 .Frage: ist diese ein affiner Raum?Ein Raum R heißt affin, wenn x, y ∈ R ⇒ αx + (1 − α)y ∈ RAntwort: Nein im AllgemeinenMan betrachtet zwei „Punkte“ im R 4 (zwei Korrespondenzpaare (x 1 l , x1 r ) und (x 2 l , x2 r )),die der 3D-Untermannigfaltigkeit gehören, d.h. x 1 l Fx1 r = 0 und x2 l Fx2 r = 0.Man untersucht z.B. den „Mittelpunkt“ (¯x l , ¯x r ) = 1/2 ( (x 1 l , x1 r ) + (x2 l , x2 r )) und sieht,dass dieser nicht unbedingt die Bedingung der Epipolargeometrie erfüllt.D. Schlesinger () Bildverarbeitung: 3D-Geometrie 12 / 13

Epipolargeometrie – Algorithmen8-Punkte Algorithmus:x l Fx r = [ x l1 x l2 1 ] [ f 11 f 12 f 13f 21 f 22 f 23f 31 f 32 1] [xr1x r21]= 0kann komponentenweise wie folgt umgeschrieben werden:x l1 x r1 ·f 11 +x l1 x r2 ·f 12 +x l1 ·f 13 +x l2 x r1 ·f 21 +x l2 x r2 ·f 22 +x l2 ·f 23 +x r1 ·f 31 +x r2 ·f 32 +1 = 0(eine bezüglich f ij lineare Gleichung mit 8 unbekannten).⇒ 8 Gleichungen (8 bekannte Korrespondenzpaare) werden benötigt um F zu schätzen.⇒ lineares Gleichungssystem mit 8 Variablen und 8 Gleichungen – relativ einfach zu lösen.7-Punkte Algorithmus:Die Elemente von F sind von einander nicht unabhängig!!!– die Fundamentalmatrix hat immer den Rang rang(F) = 27 Korrespondenzpaare werden benötigt + die Einschränkung det(F) = 0⇒ ein nicht lineares Gleichungssystem.Schwieriger zu lösen ↔ dafür aber in der Regel bessere Ergebnisse.D. Schlesinger () Bildverarbeitung: 3D-Geometrie 13 / 13