Kamera Kalibrierung - TUM

Kamera Kalibrierung
Hauptseminar Augmented Reality
TUM -Lehrstuhl Klinker / Navab
Betreuer Tobias Sielhorst
Student Iliana Dimitrova
1

Tracking
�� Tracking = „Mitfolgen Mitfolgen“
�� Genauigkeit ´optisches Tracking´ -
´magnetisches Tracking´ (1-2 mm -> 1-2 cm)
�� - Einflussfaktor Temperatur
�� Welches Tracking ist schneller ?
�� Passives – Aktives (IR) Tracking
�� - Problem beim aktiven Tracking
�� - Beleuchtung beim passiven Tracking
2

Kamera Kalibrierung
�� Häufig wird die Kalibrierung auf die
Ermittlung einer 3D – 2D Transformation
reduziert.
�� Das entspricht lediglich der Bestimmung der
inneren und äußeren Kameraparameter. Deren
Kenntnis ermöglicht es, die Bilder so zu
transformieren, dass sie den Bildern idealer
Kameras entsprechen.
3

Kamera Modelle
�� Lochkamera (pinhole ( pinhole camera) camera
�� Wir nehmen an, wir haben das einfachste
Modell einer Kamera, die s.g. Lochkamera
(pinhole camera). Das heisst, wir nehmen an,
dass die Kamera statt eines Onjektives ein
kleines kreisförmiges Loch trägt. Die
Lochmitte ist das Projektionszentrum C der
Lochkamera. In der durch den Rahmen
gegebenen Bildebene entsteht das Bild.
4

��
Lochkamera (pinhole ( pinhole camera) camera
C
P´ r´ H´
τ
Abb. 1 Lochkamera
nach P
c M´
Abb.2 Bild
Bildhauptpunkt H`; H`;
H`C – Aufnahmerichtung M´=H´
r` = c tan τ
5

Projektive Kamera (projective ( projective camera) camera
�� Mit der Lochkamera enthält man eine „ideale ideale Abbildung“. Abbildung
Tatsächlich gibt es weder eine für die Praxis brauschbare
Lochkamera, noch eine ideale Abbildung.
�� Das Herz der Kamera ist das Objektiv. Es besteht aus einer
Anzahl von Einzellinsen.
�� Die Erfahrung im Umgang mit Kameras hat gezeigt, dass es
bei der Abbildung eines Weltpunktes in einen Bildpunkt eine
Verzerrung gibt. Also entspricht ein Kamerabild nicht dem
Bild, welches eine ideale Lochkamera erzeugen würde. Und
eine relativ kleine Verzerrung des Bildes könnte zu einer relativ
großen Verfälschung von Messdaten führen.
6

Beispiele für Verzerrung
�� Es gibt 2 wichtige Arten von geometrischen
Verzerrungen: radiale und tangentiale
Verzerrung
�� Radiale Verzerrung
Die radialeVerzerrung skaliert den Abstand
des Bildpunktes zum Fokus, dem Zentrum
der Verzerrung (siehe Abb.) Der vom Fokus
ausgehende Richtungsvektor bleibt erhalten.
�� Mathematisch lässt sich die radiale
Verzerrung so vorstellen:
Pv = Pu x lk (|Pu|), wobei lk = 1 + k2.r^2 k2.r 2 +
k4.r ^4
Pu - der unverzerrte Bildpunkt
Pv - der verzerrte Bildpunkt
k2 - Verzerrungskoeffizient
lk - Verzerrungsfunktion
7

�� Tangentiale Verzerrung
Verzerrung
�� Die tangentiale Verzerrung (siehe Abb.),
die tangential zu dem Vektor von dem
Zentrum des Bildes auftritt, resultiert vor
allem aus der Dezentralisierung der
Linsen der Objektive. Im Vergleich zur
radialen ist der Einfluss der tangentialen
Verzerrung sehr gering und bei hohen
Genauigkeitsanforderungen
mitzubestimmen.
�� Wie die radiale, wächst die tangentiale
Verzerrung mit dem Abstand vom
optischen Zentrum, aber diesmal wird
nicht entlang des Radius sondern entlang
der Tangentialen verzerrt.
8

Kamera Parameter
Abb. 3 3D->2D Abbildung
9

Äußere Parameter
�� Die extrinsischen Parameter definieren den Zusammenhang zwischen
dem 3D-Kamerakoordinatensystem und dem 3D- 3D-
Weltkoordinatensystem und die Orientierung: Welt ->
Kamerakoordinaten.
Also beschreiben sie die äußere Orientierung der Kamera, nämlich
deren Position (siehe Abb.4.1 (a)) und deren Richtung (siehe Abb.
4.1 (b)) bzgl. eines gegebenen Weltkoordinatensystems.
Dabei entspricht die Position der Kamera dem optischen Zentrum
und der Richtung der optischen Achse, die äquivalent zur z-Achse
des Kamerakoordinatensystems ist.
10

Äußere Parameter
�� Die Transformation von Weltkoordinatensystem in Kamera-koordinatensystem
besteht aus einer Rotation und einer Translation. Diese Transformation hat 6
Freiheitsgrade, 3 für die Rotation und 3 für die Translation.
�� Wenn Pw die Koordinaten von einem Punkt sind, bestimmt in dem
Weltkoordinatensystem, und Pk - die Koordinaten, bestimmt in dem
Kamerakoordinaten-system, dann ist Pk = R (Pw) + t, wo t die Translation ist
und R die Rotation. Die Unbekannten, die berechnet werden müssen sind hier der
Translationsvektor t und die Rotationsmatrix R.
�� Abb. 4.1.a
Abb. 4.1.b
11

Innere Parameter
�� Die intrinsischen Parameter definieren die Abbildung zwischen dem 3D-
Kamerakoordinatensystem (metrisch) und dem 2D-Bildkoordinatensystem
(in Pixel) und beschreiben die Orientierung: Kamera – Bild (z.B. die
Brennweite f). Sie beschreiben also die interne Geometrie der Kamera.
(siehe Abb. 5.1a und Abb.5.1b)
Abb.5.1. Innere Parameter ohne Berücksichtigung der Verzerrung
12

Innere Parameter
�� Abb.5.2. Innere Parameter mit Berücksichtigung der Verzerrung
13

Innere Parameter
�� Die inneren Parameter sind die Brennweite f
(Zoom= die Entfernung vom Zentrum der
Projektion zur Bildebene), Pixelkoordinaten der
Bildmitte Ox O und Oy, O , sowie Pixelskalierung in
horizontaler und vertikaler Richtung sx s und sy.
s
14

Bestimmen der inneren und äusseren
f px
Parameter
K = f py 1
(4)
�� Die Matrix K heisst Kamera-Kalibrierungsmatrix. Es ist vorausgesetzt, dass
sich die Kamera in dem Zentrum des Euklidischen Koordinatensystems
befindet.
�� Wenn wir die Verzerrung der Linsen mitberücksichtigen, nimmt die Matrix K
folgende Form:
f s px
K = f py 1
(5)
wobei f- Brennweite, s= Verzerrung (skew Parameter).
17

Bestimmen der inneren und äusseren
Parameter
�� Allgemein werden Punkte im Raum in euklidischen Koordinaten
ausgedruckt. Über die Translation, die Skalierung und die Rotation wird
immer wieder die Darstellung auf die homogenen Koordinaten erweitert.
18

Bestimmen der inneren und äusseren
Parameter
�� Die 3D-2D Abbildung kann allgemein in der Form :
x = PX
geschrieben werden, wobei
x 2D-Koordinaten des Punktes auf der Ebene
X 3D-Koordinaten vom Punkt im Raum
P K
M
f s px R t
K = f py M =
1 0 1
19

Bestimmen der inneren und äusseren
Parameter
f s px 0 R t X
x = PX= f
py 0 0 1 Y = A
1 0 Z
1
3 x 4 4 x 4 4 x 1
r1 r2 r3 tx
R = r4 r5 r6 t = ty
r7 r8 r9 tz
20

SVD – Methode
�� Singulärwertzerlegung (SVD SVD = Singular ingular Value alue Decomposition)
ecomposition)
Die Singulärwertzerlegung bewirkt eine Aufspaltung einer mxn - Matrix A in die
drei Matrizen U, , S und V, , die folgende Eigenschaften besitzen:
21

SVD – Methode
�� Als Lösung des Minimierungsproblems Ax –b b = min
erhalten wir demnach:
22

SVD – Methode Beispiel
23

SVD – Methode Beispiel
24

Tsai Kalibrierung
Die 11 Parameter nach Tsai sind in 6 extrinsische und 5 intrinsische
Parameter unterteilt. Drei der extrinsischen Parameter sind die
Eulerwinkel, mit denen sich eine Rotation im dreidimensionalen
Raum darstellen lässt, sie gehen in die 3x3 Rotationsmatrix R (für
die Richtung) ein. Die anderen drei bilden den Translationsvektor
T (für die Position), der eine Verschiebung beschreibt.
Die 5 intrinsischen Parameter sind:
- die Brennweite f
- der Verzerrungskoeffizient k für radiale Verzerrung (siehe Abb.6)
- der Skalierungsfaktor sx s
- die Koordinaten des Zentrums der Verzerrung (Cx, Cy) bzgl. des
verzerrten Kamerabildes
25

Tsai Kalibrierung
- Pw bezeichnet den Punkt (xw, yw, zw)
im Weltkoordinatensystem
- Diesem Punkt entspricht (x, y, z) im
Kamerakoordinatensystem (Achsen
xk, yk, zk)das Zentrum Ok. Ok steht
für das optische Zentrum.
- Das Bildkoordinatensystem(Achsen xb,
yb, Zentrum Ob) liegt parallel zur xK-
yK-Ebene im
Kamerakoordinatensystem im
Abstand f (Brennweite).
In idealem Fall (Lochkameramodell)
schneidet eine Gerade durch OK und
P das Bild-koordinatensystem im
Punkt(xu, yu). Aufgrund der
Linsenverzerrung liegt dieser Punkt
näher an OB. Hier: Punkt (xv,yv).
26

Die vier Schritte der Tsai-Kalibrierung
1.Schritt Weltkoordinatensystem ->
Kamerakoordinatensystem Pw
→ Pk
(xw, yw, zw) → (xk, yk, zk)
Zuerst Ursprung des
Weltkoordinatensystems durch
Translation ins
Projektionszentrum (= Ursprung
des Kamerakoordinatensystems)
verschieben, dann passend drehen,
dass es mit dem
Kamerakoordinatensystem
zusammenfällt.
Gesucht : die Kalibrationsparameter R
und t.
27

Die vier Schritte der Tsai-Kalibrierung
2.Schritt Kamerakoordinatensystem -> unverzerrtes
Bildkoordinatensystem
Pk → Pu
(xk, yk, zk) → (xu, yu ,zu)
Gesucht: der Kalibrationsparameter f (die Brennweite)
(ohne Berechnung der Linsenverzerrung)
28

Die vier Schritte der Tsai-Kalibrierung
3.Schritt Berücksichtigung der Linsenverzerrung
Pu → Pv
[(xu, [(x , yu) y ) → (xv, (x , yv)] y )]
xv+D +Dx= = xu x
yv+D +Dy= = yu y
wobei:
Dx = xu.(k1r x .(k1r^2 2 + k2r ^4 4 + …)
Dy = yu.(k1r y .(k1r ^ 2 + k2r ^4 4 + …)
r= √ xv v ^ 2 +yv
^2
Gesucht: Gesucht:
die Kalibrationsparameter k1, k2, ...(oder nur k1)
In der Praxis ist es ausreichend, wenn lediglich der erste Term
bestimmt wird.
29

Die vier Schritte der Tsai-Kalibrierung
4.Schritt metrisches Bildkoordinatensystem -> Pixel- Pixel-
Bildkoordinatensystem
Pu → Pv
[(xv, [(x , yv) y ) → (xb, (x , yb)] y )]
xb = (sx (s .xv) .x ) / dx + x0 x
yb = yv y / dy d + y0 y
wobei: wobei
(xB, yB) Pixel – Zeile und Pixel – Spalte des Bildes im Framebuffer
(x0, y0) Pixel – Zentrum des Bildes im Framebuffer
und dx d und dy d herstellerspezifische Informationen darstellen
Gesucht: Gesucht:
der Kalibrationsparameter sx s (horizontaler
Skalierungsfaktor)
30

Tsai – Kalibrierung allgemein
�� Die Methode von Tsai versucht am Anfang so viele Parameter
wie möglich durch die linearen Methoden der kleinsten
Quadrate zu bestimmen. In diesem ersten Schritt,
Beschränkungen zwischen den Parametern sind nicht im
Anspruch genommen und das, was minimiert ist, ist nicht den
Fehler in der Bildebene, sondern eine Menge, die die Analyse
vereinfacht und zu linearen Gleichungen führt. Das hat keine
Effekte auf dem Endresultat, sobald diese abgeschätzten
Parameter nur als Startwerte für die endgültige Optimierung
benutzt werden. Folgend wird den Rest von den anderen
Parametern durch eine nichtlineare Optimierungsmethode
bestimmt, die die beste Anpassung zwischen den betrachteten
Bildpunkten und diese von dem Muster findet. Parameter, die
im ersten Schritt abgeschätzt wurden, sind verfeinert in diesem
Prozess.
�� Die Details der Kalibrierung für ein 2D- und ein 3D-Target
sehen unterschiedlich aus.
31

Andere Kalibrierungsmethoden
�� Man unterscheidet im wesentlichen drei KalibrierungsKalibrierungsverfahren,
die sich durch das Referenzobjekt sowie
durch Ort und Zeitpunkt der Kalibrierung
charakterisieren lassen:
charakterisieren lassen:
�� Laborkalibrierung
Die Laborkalibrierung ist nur für Messkameras sinnvoll. Die
innere Orientierung wird mit Hilfe eines Goniometers
bestimmt, in dem Richtungen oder Winkel der Bildstrahlen
durch das Objektiv der Kamera hindurch gemessen werden.
Laborkalibrierungen können normalerweise vom Anwender
nicht selbst durchgeführt werden und haben daher für
Systeme der Nahbereichsphotogrammetrie praktisch keine
Bedeutung.
32

Andere Kalibrierungsmethoden
�� Testfeldkalibrierung
Bei der Testfeldkalibrierung wird ein geeignet
Objektpunktfeld mit bekannten Koordinaten oder
Strecken von mehreren Standpunkten aus
formatfüllend und mit ausreichender
Strahlenschnittgeometrie aufgenommen.
33

Testfeldkalibrierung
34

Simultankalibrierung
�� Simultankalibrierung
Das Testfeld wird durch das eigentliche Messobjekt
ersetzt, das unter vergleichbaren Bedingungen
aufgenommen werden muss. Der wesentliche Vorteil
der Simultankalibrierung liegt darin, dass die innere
Orientierung exakt für den Zeitpunkt der
Objektaufnahme bestimmt wird und somit höchste
Genauigkeit bie der Objektauswertung erlaubt.
35

Simultankalibrierung
36

Literatur
Literatur: Literatur
1/ Zissermann, Zissermann,
Hartley – Multiple View Geometry in computer vision
2/ Thomas Luhmann – Nahbereichsphotogrammetrie , 2000
3/ www.ai.mit.edu/people/bkph/papers/tsaiexplain.pdf [Berthold [ Berthold K.P. Horn;
“Tsai Tsai’s s calibration method revisited”] revisited
4/ Sebastian Kreuzer; „Kamera- Kamera- und Videoprojektorkalibration in medizinischen
Anwendungen“ Anwendungen In Informatik in der Medizin. Medizin.
Universität Karlsruhe, Institut für
Prozessrechentechnik, Automation und Robotik, 2002.
5/ wwwwwwcs.engr.ccny.cuny.edu/~zhu/CSCI6716/CVVC_Part2_CameraModels.ppt [Zhigang Zhigang Zhu; „Introdction Introdction to computer vision“; vision ; Department of Computer Science
University of Massachusetts at Amherst]
37