相机自标定问题

相机自标定问题
张明
2011.6.7

自标定方法学习
近期工作
短期计划

自标定方法学习
近期工作
短期计划

自标定:由一组未标定的图像来计算摄像
机和/或景物的度量性质
不需要已知的三维标定物
相机内参数可变
在线标定

代数框架
1
P =[I 0]
i
{P ,X }
j
H
i -1
{P H , H X j}
射影重构 度量重构
H=
K
v
1 1 1
P M=P
H=K [I 0]
1
T
0
1
1 1
R =I t =0
i i i i
P M =K R t

约束来源
内参数约束
相机运动约束
场景约束
相机内参数
固定
部分可变
部分已知

利用绝对对偶二次曲面标定
Kruppa方程
分层求解
仿射重构
度量重构
从旋转相机标定
平面自标定

Conics & Quadrics
conics
T
m Cm
0
* 1
C C
C C´~ H CH
T *
l C l 0
T 1
* * * T
C C ´~ HC H
T
M QM
0
transformations
projection
* * T
C ~ PQ P
quadrics
* 1
Q Q
Q
T *
Q Q´~ T QT
T 1
* * *
Q Q ´ ~ TQ T
T
0

利用绝对对偶二次曲面标定
*
Q I
I 0
3 3
0
0
* * *
Q Q ´ ~ HQ H
ω P Q P K K
* T T
i i i i i
*
通过摄像机矩阵P把 ω
*
上的约束转移成 Q 上的
约束。
Pollefey IJCV´99
T
*
(Triggs CVPR´97)
*
Q

Constraints on
ω
f s c sf c c c
2 2 2
x x y x y x
*
sf y cxc y
2
f y
2
c y c y
c c
x y
Zero skew quadratic m
Principal point * * linear 2m
Zero skew (& p.p.) linear m
Fixed aspect ratio
(& p.p.& Skew)
Known aspect ratio
(& p.p.& Skew)
Focal length
(& p.p. & Skew)
ω ω ω ω
* * * *
12 33 13 23
ω ω 0
13 23
ω 0
*
12
* * * *
11 22 22 11
ω ω' ω ω'
* *
ω11 ω22
* *
ω33 ω11
*
Q
condition constraint type #constraints
1
quadratic m-1
linear m
linear m

Kruppa Equations
Maybank Faugeras
ECCV IJCV 92

C
*
C t [ e] C [ e]
C
CW
'
C
H C H
' T 1
t t
' *' '
C t [ e '] C [ e ]
[ e '] C [ e ] H [ e] C [ e] H FC F
*' ' T * 1 * T
[ '] [ ]
*' ' * T
e e F F
世界平面上一条二次曲线
在两幅视图上的投影
两条对极切线组
成的退化点二次
曲线
Zeller Faugeras RR2793
96

优点
只需要对极约束,不需要将所有的视图在一个
射影框架下考虑
不足
计算代价高
难以考虑对极几何估计的不确定性

u u v v
T *' 2 T *
2 2 1 1 1
T *' T *
1 2 1 2 1 2
T *' 2 T *
1 1 2 2 2
u u v v
u u v v
利用基本矩阵的SVD分解,得到kruppa
方程的等价形式,不需要另外计算对
极点。假设部分内参的初始值,非线
性求解其他内参(f),再利用LM迭代整
体求解。每个误差项使用F的协方差矩
阵加权,结果更精确。
0
1
T T
2
F UDV U V
0
Hartley IJCV99
Manolis RR 99
Manolis RR 00

分层求解
仿射重构:确定无穷远平面
H
H
T
K
T
p K
0 0
1
T
1
T
1
T
0 K K v 0 K v p
0 0 1 0 1 1
1 1
0
1
T
( A ap ) K KR
(Pollefeys ICPR´96)
T
( A ap ) KRK
由于等式右边共轭于一个旋转,其三个特征值的模相等。因此构成关于p的模
约束
1

度量重构:确定绝对二次曲线
i i i T
H A a p
* i i * iT
H H
尺度因子很关键
' *' ' ' * T ' * T
e e e H H e F F Kruppa方程
由于三阶反对称矩阵不可逆,所以箭头是单向的。因此,
Kruppa方程是一个较弱的约束。

旋转相机:监控摄像机,报道体育事件的相
机,手持摄像机
旋转摄像机的标定在数学上等同于分层重构
中从仿射到度量的标定步骤。非平移摄像机
不可能得到一个仿射重构,然而可以计算图
像之间的无穷单应,从而满足摄像机标定的
要求。
Hartley ECCV’94 IJCV’94

P K R 2 2 0
P K R
1 1 0
X
0
1
X
x K R 0 KR X
1
x1 K R1 KR1X 2 2 2
* i i * iT
H H
H 12
1 1
x 2 KR2R1 K x1

平面自标定
平面上的虚圆点通过单应从图像映射到图
像
标定矩阵K可以由虚圆点的像确定
i
T
i i
j j
H c H c
0
Hartley ECCV’98

自标定方法学习
近期工作
短期计划

度量重建
SCE
直接利用场景信息求解H
直接求解非线性方程,再用LM优化
迭代求解非线性方程,再用LM优化
利用H的特殊形式,直接用H的矩阵元素求
解K

T
H H
可以提供四个独立约束,需要至少3个视角
求解
1/3
H i Det ( H i ) H i
T
H i H i
,i=1,2,…N-1
T
H H
通过Cholesky分解,得到K。
H K H K U diag(t ,t ,t )V
K 1
T
i i
1 2 3
1
R UV
i
T

1 1
A I A I A I A I A
1/3
H i Det ( H i ) H i H i H i
H H 0 i 1,2,..., N 1
T
i i
K
H K H K R H
K 1
i i
i i
由于H是通过无穷远单应取逆运算得到的,很难有
高精度。考虑直接由图像数据或场景约束确定H,
提高H的精度。

m KX
X X
W
'
m m K ( I R) X
,1 T
T
'
m KRX
'
m m K ( I R) X
' 1 1 '
m m K I R I R K m m
( )( ) ( )
H
' '
m Hm ( m Hm ) /

非线性求解H(nonlinear)
' '
[ m Hm ] ( m Hm) 0
每组点对应提供两个独立约束。非线性方程中,将H中元素的高阶项看
做独立的未知数,求解线性方程组。线性方程组的秩小于未知数的个数,
因此,方程组的解为几个基础解的线性组合,再利用高阶项与H中元素
一次项的约束关系,确定线性组合的系数,从而得到H的初始解。
给定初始解,利用LM算法优化H。然而,非线性方程约束仅为H的一个必
要条件,而且存在平凡解I,-I。因此,该算法对噪声比较敏感,LM算法
优化时容易收敛到平凡解。

迭代求解H(SCE3)
' '
m Hm ( m Hm )
首先给一组初始的尺度因子,然后线性求解H,再利用求得的H
更新尺度因子,重复迭代上述过程,直到尺度因子不再变化。
实验中,初始的尺度因子设置为1,迭代算法基本是收敛的。精
度和SCE算法差不多。

若将旋转矩阵用轴角表示法表示,则 H 具有如下形式:
n st n tx f n t n tx s ( n st n tx ) ( f n t n tx ) x ( n st n tx )( f x sx )
f n t n st
3 2 1 1 3 1 1 3 2 1 1 3 1 1 2 3 2 1 2 1 2
f 1 f 2 f 1f 2
1 2 1
f 2 f 1f 2
f n t n tx n tx s ( f n t n tx ) n tx ( f x sx )( f n t n tx )
2
2 3
f 1
2 2 1 2
f 2
2 3
f 1f 2
2 2 f 2n1t 1 2
f 2
2 1 2 2
f 1f 2
3 2 2
n2tn1t f f
1 2
f s x
1 1
K 0 f x
2 2
0 0 1
n2st n1tx 2 n2t ( f 2x 1 sx 2)
f f f f f
1 2 2 1 2
n n n
1 2 3
T
t tg
2

SCE2
n2tx1 t ( f 1n3 n1x1) t (
2
f 2n 2x 1 f 1n1x1x 2
2
f 1 ( f 2n 2 n3x 2))
f f f f
1 2 1 2
f 2n3t n2tx 2 n1tx 2 t ( f 2x 1( f 2n3 n1x 2) 2
f 1n1( f 2
2
x 2 ))
f f f f
1 2 1 2
n2t n1t n2tx1 n1tx 2
f f f f
1 2 1 2
H H
x x
H H
11 22
1 2
31 32
H x H
12 1 32
H x H
21 2 31
2
H x H x H
23 1 21 2 22
H
32
f
2
2

仿真实验结果
相机内参数设置为:
f u 1000 fv 1000 pu 512 pv 512 s 0.02
相机外参数设置为:
E 0 I 0 E1 R1 0 E 2 R2
0
0.8536 -0.3536 -0.3827
R1 0.2183 0.9096 -0.3536 R2
0.4731 0.2183 0.8536
a1
0.4857, 0.7268,0.4857 1 36.06
a2
0.6996, 0.5352,0.4735 2 37.88
0.8924 -0.3696 -0.2588
0.2119 0.8496 -0.4830
0.3984 0.3762 0.8365
随机选择50个空间点,位于cube 0,50 0,50 80,130 ,重复1000次实验。

SCE VS nonlinear(经过LM优化的)
Relative errors (%) of F u
Relative errors (%) of P u
7
6
5
4
3
2
1
SCE
nonlinear
0
0 0.5 1 1.5
Noise level (pixels)
2 2.5 3
12
10
8
6
4
2
SCE
nonlinear
0
0 0.5 1 1.5
Noise level (pixels)
2 2.5 3
Relative errors (%) of F v
Relative errors (%) of P v
2.5
2
1.5
1
0.5
SCE
nonlinear
0
0 0.5 1 1.5
Noise level (pixels)
2 2.5 3
4
3.5
3
2.5
2
1.5
1
0.5
SCE
nonlinear
0
0 0.5 1 1.5
Noise level (pixels)
2 2.5 3

SCE VS nonlinear(未经过LM优化的)

SCE VS SCE2(s=0.00)
Relative errors of F u
Relative errors of P u
0.06
0.05
0.04
0.03
0.02
0.01
0
0 0.5 1 1.5
Noise level (pixels)
2 2.5 3
0.1
0.09
0.08
0.07
0.06
0.05
0.04
0.03
0.02
0.01
SCE
SCE2
SCE
SCE2
0
0 0.5 1 1.5
Noise level (pixels)
2 2.5 3
Relative errors of F v
Relative errors of P v
0.05
0.045
0.04
0.035
0.03
0.025
0.02
0.015
0.01
0.005
0
0 0.5 1 1.5
Noise level (pixels)
2 2.5 3
0.12
0.1
0.08
0.06
0.04
0.02
SCE
SCE2
SCE
SCE2
0
0 0.5 1 1.5
Noise level (pixels)
2 2.5 3

SCE VS SCE2(s=0.02)
Relative errors of F u
Relative errors of P u
0.07
0.06
0.05
0.04
0.03
0.02
0.01
0
0 0.5 1 1.5
Noise level (pixels)
2 2.5 3
0.12
0.1
0.08
0.06
0.04
0.02
SCE
SCE2
SCE
SCE2
0
0 0.5 1 1.5
Noise level (pixels)
2 2.5 3
Relative errors of F v
Relative errors of P v
0.05
0.045
0.04
0.035
0.03
0.025
0.02
0.015
0.01
0.005
0
0 0.5 1 1.5
Noise level (pixels)
2 2.5 3
0.12
0.1
0.08
0.06
0.04
0.02
SCE
SCE2
SCE
SCE2
0
0 0.5 1 1.5
Noise level (pixels)
2 2.5 3

SCE VS SCE2 VS SCE3(s=0.02)
Relative errors of F u
Relative errors of P u
0.07
0.06
0.05
0.04
0.03
0.02
0.01
0
0 0.5 1 1.5
Noise level (pixels)
2 2.5 3
0.12
0.1
0.08
0.06
0.04
0.02
SCE
SCE2
SCE3
SCE
SCE2
SCE3
0
0 0.5 1 1.5
Noise level (pixels)
2 2.5 3
Relative errors of F v
Relative errors of P v
0.09
0.08
0.07
0.06
0.05
0.04
0.03
0.02
0.01
0
0 0.5 1 1.5
Noise level (pixels)
2 2.5 3
0.12
0.1
0.08
0.06
0.04
0.02
SCE
SCE2
SCE3
SCE
SCE2
SCE3
0
0 0.5 1 1.5
Noise level (pixels)
2 2.5 3

SCE2 VS SCE4(s=0.02)
Relative errors of F u
Relative errors of P u
0.045
0.04
0.035
0.03
0.025
0.02
0.015
0.01
0.005
0.014
0.012
0
0 0.5 1 1.5
Noise level (pixels)
2 2.5 3
0.01
0.008
0.006
0.004
0.002
SCE2
SCE4
SCE2
SCE4
0
0 0.5 1 1.5
Noise level (pixels)
2 2.5 3
Relative errors of F v
Relative errors of P v
0.045
0.04
0.035
0.03
0.025
0.02
0.015
0.01
0.005
0.03
0.025
0.02
0.015
0.01
0.005
SCE2
SCE4
0
0 0.5 1 1.5
Noise level (pixels)
2 2.5 3
SCE2
SCE4
0
0 0.5 1 1.5
Noise level (pixels)
2 2.5 3

非线性求解H的方法相比SCE精度没有提高
迭代法求解H的方法与SCE精度相当
假设s=0直接利用H的元素求解K,即使真实
的s不等于0,精度也比SCE高
假设s不等于0直接利用H的元素求解K和假
设s等于0求解K的精度相当

相机做旋转运动时,由于旋转中心和相机
中心不是完全重合,所以会有平移存在
单应矩阵不再是无穷单应
T
tn
H K R K
d
1
T 1
H K R t nn
K
L. Wang, S.B. Kang, H. Y. Shum, and G. Xu, “Error analysis of pure rotation-based self-calibration,” Proc
8th Int.conf. on Computer Vision, Vancouver, Canada, pp. I: 464-471, July 2001.

0 0 1 T
n t t t t
x x
1 1
x x
2 2
n x y z
2 1 cos f n t f n n t 2sin f n t
1
2
2 z 1 2 3 y 1 2 x
4sin
2 1 cos f n n t f n t 2sin f n t
2 1 3 x 2
2
1 z 2 1 y
4sin
n
2
n
1

CCE VS SCE VS SCE2(图像噪声为0)
Relative errors of F u
Relative errors of P u
0.035
0.03
0.025
0.02
0.015
0.01
0.005
0
0 0.5 1 1.5 2 2.5 3
translation level (relative)
0.08
0.07
0.06
0.05
0.04
0.03
0.02
0.01
SCE
CCE
SCE2
SCE
CCE
SCE2
0
0 0.5 1 1.5 2 2.5 3
translation level (relative)
Relative errors of F v
Relative errors of P v
0.03
0.025
0.02
0.015
0.01
0.005
0
0 0.5 1 1.5 2 2.5 3
translation level (relative)
0.12
0.1
0.08
0.06
0.04
0.02
SCE
CCE
SCE2
SCE
CCE
SCE2
0
0 0.5 1 1.5 2 2.5 3
translation level (relative)

CCE VS SCE VS SCE2(图像噪声为0.2 pixels)
Relative errors of F u
Relative errors of P u
0.04
0.035
0.03
0.025
0.02
0.015
0.01
0.005
0
0 0.5 1 1.5 2 2.5 3
translation level (relative)
0.08
0.07
0.06
0.05
0.04
0.03
0.02
0.01
SCE
CCE
SCE2
SCE
CCE
SCE2
0
0 0.5 1 1.5 2 2.5 3
translation level (relative)
Relative errors of F v
Relative errors of P v
0.03
0.025
0.02
0.015
0.01
0.005
0
0 0.5 1 1.5 2 2.5 3
translation level (relative)
0.12
0.1
0.08
0.06
0.04
0.02
SCE
CCE
SCE2
SCE
CCE
SCE2
0
0 0.5 1 1.5 2 2.5 3
translation level (relative)

CCE VS SCE VS SCE2(图像噪声为0.5 pixels)
Relative errors of F u
Relative errors of P u
0.04
0.035
0.03
0.025
0.02
0.015
0.01
0.005
0
0 0.5 1 1.5 2 2.5 3
translation level (relative)
0.08
0.07
0.06
0.05
0.04
0.03
0.02
0.01
SCE
CCE
SCE2
SCE
CCE
SCE2
0
0 0.5 1 1.5 2 2.5 3
translation level (relative)
Relative errors of F v
Relative errors of P v
0.035
0.03
0.025
0.02
0.015
0.01
0.005
0
0 0.5 1 1.5 2 2.5 3
translation level (relative)
0.1
0.09
0.08
0.07
0.06
0.05
0.04
0.03
0.02
0.01
SCE
CCE
SCE2
SCE
CCE
SCE2
0
0 0.5 1 1.5 2 2.5 3
translation level (relative)

仿射重建
模约束
迹约束,行列式约束
行列式归一化

本质:确定无穷远平面
P0 I ,0 , Pi Ai , bi , i 1,2,... N
H A b x
i i i
T
传统方法利用模约束得到3D向量x的4次方程组,高度非线性。
由于这里的无穷单应并未归一化,所以若想利用H的约束求解x,需要对无穷
单应归一化,再做Cayley变换。

H x KRK
tr H x det H x 0
1
1 1
H x K R K K t R K
C x C x C x C x L C x L C x L C L C
i i i i i i i i
1 1 2 2 3 3 4 1 i 5 2 i 6 3 i 7 i 8 0
3 i i i i
Li D1 x1 D2 x 2 D3 x 3 D4
C D 为第i幅视图的投影矩阵元素的某个多项式的值
i
j
i
j

#1首先给x一组初值,然后就可以确定L,再利用L的值线性
求解3D向量x,循环迭代直至x不再变化。
然而在仿真实验中,迭代结束时得到的解不稳定。
如:即使x的初值给在真值的5%误差范围内时,迭代结束
时的解有时会完全偏离正确的解。
#2直接利用Continuation方法求解非线性方程。

Future work
H的其他几何变换性质
H的其他内在性质(部分内参已知时)

谢谢!