Kamera Kalibrierung - TUM

campar.in.tum.de

Kamera Kalibrierung - TUM

Kamera Kalibrierung

Hauptseminar Augmented Reality

TUM -Lehrstuhl Klinker / Navab

Betreuer Tobias Sielhorst

Student Iliana Dimitrova

1


Tracking

�� Tracking = „Mitfolgen Mitfolgen“

�� Genauigkeit ´optisches Tracking´ -

´magnetisches Tracking´ (1-2 mm -> 1-2 cm)

�� - Einflussfaktor Temperatur

�� Welches Tracking ist schneller ?

�� Passives – Aktives (IR) Tracking

�� - Problem beim aktiven Tracking

�� - Beleuchtung beim passiven Tracking

2


Kamera Kalibrierung

�� Häufig wird die Kalibrierung auf die

Ermittlung einer 3D – 2D Transformation

reduziert.

�� Das entspricht lediglich der Bestimmung der

inneren und äußeren Kameraparameter. Deren

Kenntnis ermöglicht es, die Bilder so zu

transformieren, dass sie den Bildern idealer

Kameras entsprechen.

3


Kamera Modelle

�� Lochkamera (pinhole ( pinhole camera) camera

�� Wir nehmen an, wir haben das einfachste

Modell einer Kamera, die s.g. Lochkamera

(pinhole camera). Das heisst, wir nehmen an,

dass die Kamera statt eines Onjektives ein

kleines kreisförmiges Loch trägt. Die

Lochmitte ist das Projektionszentrum C der

Lochkamera. In der durch den Rahmen

gegebenen Bildebene entsteht das Bild.

4


��

Lochkamera (pinhole ( pinhole camera) camera

C

P´ r´ H´

τ

Abb. 1 Lochkamera

nach P

c M´

Abb.2 Bild

Bildhauptpunkt H`; H`;

H`C – Aufnahmerichtung M´=H´

r` = c tan τ

5


Projektive Kamera (projective ( projective camera) camera

�� Mit der Lochkamera enthält man eine „ideale ideale Abbildung“. Abbildung

Tatsächlich gibt es weder eine für die Praxis brauschbare

Lochkamera, noch eine ideale Abbildung.

�� Das Herz der Kamera ist das Objektiv. Es besteht aus einer

Anzahl von Einzellinsen.

�� Die Erfahrung im Umgang mit Kameras hat gezeigt, dass es

bei der Abbildung eines Weltpunktes in einen Bildpunkt eine

Verzerrung gibt. Also entspricht ein Kamerabild nicht dem

Bild, welches eine ideale Lochkamera erzeugen würde. Und

eine relativ kleine Verzerrung des Bildes könnte zu einer relativ

großen Verfälschung von Messdaten führen.

6


Beispiele für Verzerrung

�� Es gibt 2 wichtige Arten von geometrischen

Verzerrungen: radiale und tangentiale

Verzerrung

�� Radiale Verzerrung

Die radialeVerzerrung skaliert den Abstand

des Bildpunktes zum Fokus, dem Zentrum

der Verzerrung (siehe Abb.) Der vom Fokus

ausgehende Richtungsvektor bleibt erhalten.

�� Mathematisch lässt sich die radiale

Verzerrung so vorstellen:

Pv = Pu x lk (|Pu|), wobei lk = 1 + k2.r^2 k2.r 2 +

k4.r ^4

Pu - der unverzerrte Bildpunkt

Pv - der verzerrte Bildpunkt

k2 - Verzerrungskoeffizient

lk - Verzerrungsfunktion

7


�� Tangentiale Verzerrung

Verzerrung

�� Die tangentiale Verzerrung (siehe Abb.),

die tangential zu dem Vektor von dem

Zentrum des Bildes auftritt, resultiert vor

allem aus der Dezentralisierung der

Linsen der Objektive. Im Vergleich zur

radialen ist der Einfluss der tangentialen

Verzerrung sehr gering und bei hohen

Genauigkeitsanforderungen

mitzubestimmen.

�� Wie die radiale, wächst die tangentiale

Verzerrung mit dem Abstand vom

optischen Zentrum, aber diesmal wird

nicht entlang des Radius sondern entlang

der Tangentialen verzerrt.

8


Kamera Parameter

Abb. 3 3D->2D Abbildung

9


Äußere Parameter

�� Die extrinsischen Parameter definieren den Zusammenhang zwischen

dem 3D-Kamerakoordinatensystem und dem 3D- 3D-

Weltkoordinatensystem und die Orientierung: Welt ->

Kamerakoordinaten.

Also beschreiben sie die äußere Orientierung der Kamera, nämlich

deren Position (siehe Abb.4.1 (a)) und deren Richtung (siehe Abb.

4.1 (b)) bzgl. eines gegebenen Weltkoordinatensystems.

Dabei entspricht die Position der Kamera dem optischen Zentrum

und der Richtung der optischen Achse, die äquivalent zur z-Achse

des Kamerakoordinatensystems ist.

10


Äußere Parameter

�� Die Transformation von Weltkoordinatensystem in Kamera-koordinatensystem

besteht aus einer Rotation und einer Translation. Diese Transformation hat 6

Freiheitsgrade, 3 für die Rotation und 3 für die Translation.

�� Wenn Pw die Koordinaten von einem Punkt sind, bestimmt in dem

Weltkoordinatensystem, und Pk - die Koordinaten, bestimmt in dem

Kamerakoordinaten-system, dann ist Pk = R (Pw) + t, wo t die Translation ist

und R die Rotation. Die Unbekannten, die berechnet werden müssen sind hier der

Translationsvektor t und die Rotationsmatrix R.

�� Abb. 4.1.a

Abb. 4.1.b

11


Innere Parameter

�� Die intrinsischen Parameter definieren die Abbildung zwischen dem 3D-

Kamerakoordinatensystem (metrisch) und dem 2D-Bildkoordinatensystem

(in Pixel) und beschreiben die Orientierung: Kamera – Bild (z.B. die

Brennweite f). Sie beschreiben also die interne Geometrie der Kamera.

(siehe Abb. 5.1a und Abb.5.1b)

Abb.5.1. Innere Parameter ohne Berücksichtigung der Verzerrung

12


Innere Parameter

�� Abb.5.2. Innere Parameter mit Berücksichtigung der Verzerrung

13


Innere Parameter

�� Die inneren Parameter sind die Brennweite f

(Zoom= die Entfernung vom Zentrum der

Projektion zur Bildebene), Pixelkoordinaten der

Bildmitte Ox O und Oy, O , sowie Pixelskalierung in

horizontaler und vertikaler Richtung sx s und sy.

s

14


Bestimmen der inneren und äusseren

f px

Parameter

K = f py 1

(4)

�� Die Matrix K heisst Kamera-Kalibrierungsmatrix. Es ist vorausgesetzt, dass

sich die Kamera in dem Zentrum des Euklidischen Koordinatensystems

befindet.

�� Wenn wir die Verzerrung der Linsen mitberücksichtigen, nimmt die Matrix K

folgende Form:

f s px

K = f py 1

(5)

wobei f- Brennweite, s= Verzerrung (skew Parameter).

17


Bestimmen der inneren und äusseren

Parameter

�� Allgemein werden Punkte im Raum in euklidischen Koordinaten

ausgedruckt. Über die Translation, die Skalierung und die Rotation wird

immer wieder die Darstellung auf die homogenen Koordinaten erweitert.

18


Bestimmen der inneren und äusseren

Parameter

�� Die 3D-2D Abbildung kann allgemein in der Form :

x = PX

geschrieben werden, wobei

x 2D-Koordinaten des Punktes auf der Ebene

X 3D-Koordinaten vom Punkt im Raum

P K

M

f s px R t

K = f py M =

1 0 1

19


Bestimmen der inneren und äusseren

Parameter

f s px 0 R t X

x = PX= f

py 0 0 1 Y = A

1 0 Z

1

3 x 4 4 x 4 4 x 1

r1 r2 r3 tx

R = r4 r5 r6 t = ty

r7 r8 r9 tz

20


SVD – Methode

�� Singulärwertzerlegung (SVD SVD = Singular ingular Value alue Decomposition)

ecomposition)

Die Singulärwertzerlegung bewirkt eine Aufspaltung einer mxn - Matrix A in die

drei Matrizen U, , S und V, , die folgende Eigenschaften besitzen:

21


SVD – Methode

�� Als Lösung des Minimierungsproblems Ax –b b = min

erhalten wir demnach:

22


SVD – Methode Beispiel

23


SVD – Methode Beispiel

24


Tsai Kalibrierung

Die 11 Parameter nach Tsai sind in 6 extrinsische und 5 intrinsische

Parameter unterteilt. Drei der extrinsischen Parameter sind die

Eulerwinkel, mit denen sich eine Rotation im dreidimensionalen

Raum darstellen lässt, sie gehen in die 3x3 Rotationsmatrix R (für

die Richtung) ein. Die anderen drei bilden den Translationsvektor

T (für die Position), der eine Verschiebung beschreibt.

Die 5 intrinsischen Parameter sind:

- die Brennweite f

- der Verzerrungskoeffizient k für radiale Verzerrung (siehe Abb.6)

- der Skalierungsfaktor sx s

- die Koordinaten des Zentrums der Verzerrung (Cx, Cy) bzgl. des

verzerrten Kamerabildes

25


Tsai Kalibrierung

- Pw bezeichnet den Punkt (xw, yw, zw)

im Weltkoordinatensystem

- Diesem Punkt entspricht (x, y, z) im

Kamerakoordinatensystem (Achsen

xk, yk, zk)das Zentrum Ok. Ok steht

für das optische Zentrum.

- Das Bildkoordinatensystem(Achsen xb,

yb, Zentrum Ob) liegt parallel zur xK-

yK-Ebene im

Kamerakoordinatensystem im

Abstand f (Brennweite).

In idealem Fall (Lochkameramodell)

schneidet eine Gerade durch OK und

P das Bild-koordinatensystem im

Punkt(xu, yu). Aufgrund der

Linsenverzerrung liegt dieser Punkt

näher an OB. Hier: Punkt (xv,yv).

26


Die vier Schritte der Tsai-Kalibrierung

1.Schritt Weltkoordinatensystem ->

Kamerakoordinatensystem Pw

→ Pk

(xw, yw, zw) → (xk, yk, zk)

Zuerst Ursprung des

Weltkoordinatensystems durch

Translation ins

Projektionszentrum (= Ursprung

des Kamerakoordinatensystems)

verschieben, dann passend drehen,

dass es mit dem

Kamerakoordinatensystem

zusammenfällt.

Gesucht : die Kalibrationsparameter R

und t.

27


Die vier Schritte der Tsai-Kalibrierung

2.Schritt Kamerakoordinatensystem -> unverzerrtes

Bildkoordinatensystem

Pk → Pu

(xk, yk, zk) → (xu, yu ,zu)

Gesucht: der Kalibrationsparameter f (die Brennweite)

(ohne Berechnung der Linsenverzerrung)

28


Die vier Schritte der Tsai-Kalibrierung

3.Schritt Berücksichtigung der Linsenverzerrung

Pu → Pv

[(xu, [(x , yu) y ) → (xv, (x , yv)] y )]

xv+D +Dx= = xu x

yv+D +Dy= = yu y

wobei:

Dx = xu.(k1r x .(k1r^2 2 + k2r ^4 4 + …)

Dy = yu.(k1r y .(k1r ^ 2 + k2r ^4 4 + …)

r= √ xv v ^ 2 +yv

^2

Gesucht: Gesucht:

die Kalibrationsparameter k1, k2, ...(oder nur k1)

In der Praxis ist es ausreichend, wenn lediglich der erste Term

bestimmt wird.

29


Die vier Schritte der Tsai-Kalibrierung

4.Schritt metrisches Bildkoordinatensystem -> Pixel- Pixel-

Bildkoordinatensystem

Pu → Pv

[(xv, [(x , yv) y ) → (xb, (x , yb)] y )]

xb = (sx (s .xv) .x ) / dx + x0 x

yb = yv y / dy d + y0 y

wobei: wobei

(xB, yB) Pixel – Zeile und Pixel – Spalte des Bildes im Framebuffer

(x0, y0) Pixel – Zentrum des Bildes im Framebuffer

und dx d und dy d herstellerspezifische Informationen darstellen

Gesucht: Gesucht:

der Kalibrationsparameter sx s (horizontaler

Skalierungsfaktor)

30


Tsai – Kalibrierung allgemein

�� Die Methode von Tsai versucht am Anfang so viele Parameter

wie möglich durch die linearen Methoden der kleinsten

Quadrate zu bestimmen. In diesem ersten Schritt,

Beschränkungen zwischen den Parametern sind nicht im

Anspruch genommen und das, was minimiert ist, ist nicht den

Fehler in der Bildebene, sondern eine Menge, die die Analyse

vereinfacht und zu linearen Gleichungen führt. Das hat keine

Effekte auf dem Endresultat, sobald diese abgeschätzten

Parameter nur als Startwerte für die endgültige Optimierung

benutzt werden. Folgend wird den Rest von den anderen

Parametern durch eine nichtlineare Optimierungsmethode

bestimmt, die die beste Anpassung zwischen den betrachteten

Bildpunkten und diese von dem Muster findet. Parameter, die

im ersten Schritt abgeschätzt wurden, sind verfeinert in diesem

Prozess.

�� Die Details der Kalibrierung für ein 2D- und ein 3D-Target

sehen unterschiedlich aus.

31


Andere Kalibrierungsmethoden

�� Man unterscheidet im wesentlichen drei KalibrierungsKalibrierungsverfahren,

die sich durch das Referenzobjekt sowie

durch Ort und Zeitpunkt der Kalibrierung

charakterisieren lassen:

charakterisieren lassen:

�� Laborkalibrierung

Die Laborkalibrierung ist nur für Messkameras sinnvoll. Die

innere Orientierung wird mit Hilfe eines Goniometers

bestimmt, in dem Richtungen oder Winkel der Bildstrahlen

durch das Objektiv der Kamera hindurch gemessen werden.

Laborkalibrierungen können normalerweise vom Anwender

nicht selbst durchgeführt werden und haben daher für

Systeme der Nahbereichsphotogrammetrie praktisch keine

Bedeutung.

32


Andere Kalibrierungsmethoden

�� Testfeldkalibrierung

Bei der Testfeldkalibrierung wird ein geeignet

Objektpunktfeld mit bekannten Koordinaten oder

Strecken von mehreren Standpunkten aus

formatfüllend und mit ausreichender

Strahlenschnittgeometrie aufgenommen.

33


Testfeldkalibrierung

34


Simultankalibrierung

�� Simultankalibrierung

Das Testfeld wird durch das eigentliche Messobjekt

ersetzt, das unter vergleichbaren Bedingungen

aufgenommen werden muss. Der wesentliche Vorteil

der Simultankalibrierung liegt darin, dass die innere

Orientierung exakt für den Zeitpunkt der

Objektaufnahme bestimmt wird und somit höchste

Genauigkeit bie der Objektauswertung erlaubt.

35


Simultankalibrierung

36


Literatur

Literatur: Literatur

1/ Zissermann, Zissermann,

Hartley – Multiple View Geometry in computer vision

2/ Thomas Luhmann – Nahbereichsphotogrammetrie , 2000

3/ www.ai.mit.edu/people/bkph/papers/tsaiexplain.pdf [Berthold [ Berthold K.P. Horn;

“Tsai Tsai’s s calibration method revisited”] revisited

4/ Sebastian Kreuzer; „Kamera- Kamera- und Videoprojektorkalibration in medizinischen

Anwendungen“ Anwendungen In Informatik in der Medizin. Medizin.

Universität Karlsruhe, Institut für

Prozessrechentechnik, Automation und Robotik, 2002.

5/ wwwwwwcs.engr.ccny.cuny.edu/~zhu/CSCI6716/CVVC_Part2_CameraModels.ppt [Zhigang Zhigang Zhu; „Introdction Introdction to computer vision“; vision ; Department of Computer Science

University of Massachusetts at Amherst]

37

Weitere Magazine dieses Users
Ähnliche Magazine