优化中的分支定界方法及其在计算机视觉中的应用

优化中的分支定界方法及其在
计算机视觉中的应用
张强
2009.10.20

主要内容
1.回顾——凸函数与非凸函数
2.优化中的分支定界方法
3.分支定界方法在计算机视觉的应用

凸函数与非凸函数
n 函数 f : R → R为凸函数(convex
function),
如果其定义域为凸集,并且 ∀xy , ∈dom f,
0≤θ≤1, 有
f ( θ x+ (1 −θ) y) ≤ θ f( x) + (1 −θ)
f( y)
B. Stephen and V. Lieven. Convex Optimization. Cambridge University Press,
2004.

凸函数与非凸函数
非凸函数:
函数 f n : R → R为拟凸函数(quasiconvex‐
function),如果其定义域及所有的子集
为凸。
S = { x∈dom f | f( x) ≤α, α ∈R}
α

凸函数与非凸函数
非凸函数:

优化中的分支定界方法
分支定界(branch and bound)方法是解决非凸
优化全局极值的一种启发式方法。该方法利用目
标函数的上界或者下界对可行集进行删减,并最
终在一定精度上达到全局极小值。这种方法相当
于在整个可行集上逐点进行枚举,但由于在搜索
过程中不断更改可行集,所以其运算速度大大高
于一般搜索方法。
B. Kolman and R.Beck. Elementary Linear Programming with
Applications(international edition). Academic Press, 1980.
F. Kahl , S. Agarwal, and et al. Practical Global Optimization for Multiview
Geometry. IJCV, 79:271‐284,2008.

优化中的分支定界方法
例:一个3变量的0,1优化问题
右图中根节点(root node)为整
个可行集,而其他节点为根节
点的子节点表示子可行集,连
接节点之的线称为分支(branch),
从节点1到节点k的一系列分支组成一条通路
(path),被未检查到的节点称为隐式枚举的
(implicitly enumerated)节点,反之称为显示枚举的
(explicitly enumerated)节点。隐式枚举节点的顶端
节点称为终止节点(terminal node)。

优化中的分支定界方法
一般的搜索方法在整个可行集中进行逐点枚举。
相比之下,分支定界方法能够利用一些条件进行
自顶向下的枚举,在这个过程中不符合条件的节
点成为终止节点,从而使得隐式枚举节点不用显
式的被检查,大大加快了计算速度。

优化中的分支定界方法
例:一个连续函数优化问题的分支定界方法
min Φ(
x)
st. l ≤ x ≤
u

优化中的分支定界方法
步骤1
*
给定初始最优估计值 Φ(
x ) ,及终止条件 ε 。
对 Φ(
x)
做凸松弛,计算出松弛函数在整个可行集
上的最小值 lb( ) ,如果 ,则终止,
输出最佳值 ,否则继续迭代;
x′
Q
Φ Φ( x′ ) −Φlb( x′ ) ≤ε
x = x′
opt

优化中的分支定界方法
步骤2
将可行集分为k个子集 Qi,计算每个子集上松弛函
数的最小值 lb( i ) 。定义 ,如
果 ,则停止迭代,输出结
果 ;
x′
*
Φ x1 = arg min k Φ(
x′
)
{ qi}
i
i=
1
*
Φ( x1 ) −min 1≤i≤
kΦlb( x′ i)
≤ε
*
x
1

优化中的分支定界方法
步骤3
j
′
*
如果第 个子集, Φlb( xj) −Φ ( x ) > 0,则排除该子集,
反之留下该子集。
*
*
如果存在 Φ( x′ ) −Φ ( x ) < 0,
则 j。重复步骤2。
j
x =
x′

优化中的分支定界方法
分支定界方法的收敛条件:
1.可行集为闭的紧集,以确保具有全局极值;
2.当可行集 Q 的边界 lu , , l−u 趋近于0时,
* *
Φ( x ) −Φlb(
x ) 亦趋近于0。

分支定界方法在计算机视觉的应用
问题描述
重投影残差
其中摄像机矩阵 P p , p , p ,图像坐标 uv , ,
空间点齐次坐标 X
。
T T
⎛ p1 X p2 X ⎞
r = ⎜u− , v−
T T ⎟
⎝ p3 X p3 X ⎠
T
= [ ]
( )
1 2 3
T

分支定界方法在计算机视觉的应用
对于计算重建问题,其目标函数可以表示为
其形式为
i= 1 i
N
∑
i=
1
N fi( x)
min ∑
subject to x∈D x g ( x)
该优化不是一个凸优化问题。
r
i
2
2

分支定界方法在计算机视觉的应用
将上述进一步代换得到
min
xts ,,
i= 1 i
st . f ( x) ≤ t, g ( x) ≥ s
Q
x∈D,( t, s) ∈Q0
2 p
[ l , u ] × L× [ l , u ] × [ L, U ] × L×
[ L , U ]
其可行集为凸集。 0为一个
维空间
N
∑
ti
s
i i i i
1 1 p p 1 1
p p
。

分支定界方法在计算机视觉的应用
定界(Bounding)
寻找合适的松弛方法对非凸函数进行松弛。
生成的松弛函数应具有如下特点:1.便于计算;
2.可以得到较紧的下界;3.易于最小化。

分支定界方法在计算机视觉的应用
分数函数 t/ s, t∈[ l, u], s∈[ L, U]
的松弛函数为
r′ 0, r r′
u − t
≥ − ≥0
λ =
u −
l
Tawarmalani,M., & Sahinidis, N. V. Semidefinite relaxations of fractional
programs via novel convexification techniques. JGO,20,137‐158,2008.
其中
⎡t⎤ convenv
⎢
= min r
s rr , ′ , s′
⎣
⎥
⎦
st . r, r′ , s′∈R, 2λ
l
r′ − s′
2(1 − λ)
≤ r′ + s′
,
u
r −r′ − s+ s′
λL≤ s′ ≤λU,
≤ r − r′ + s−s′ ,
(1 −λ) L≤ s−s′ ≤(1 −λ)
U,

分支定界方法在计算机视觉的应用
由于函数和的凸包大于等于函数凸包的和,可得
min
xrr , , ′ , ss , ′ , t
N
∑
i = 1
n p
st . x∈ R , r, r′ , s, s′ , t∈ R ,
2λ
r
2(1 − λ )
i
i i
i i
l
r′ − s′
≤ r′ + s′
,
u
i i
i i
r − r′ − s + s′
i i i i
λ L ≤ s′ ≤ λU
i i i i i
,
≤ r − r′ + s − s′
,
i i i i
(1 − λ ) L ≤ s − s′ ≤ (1 − λ ) U ,
i i i i i i
r′ i ≥ 0, ri − r′
i ≥ 0,
li ≤ ti ≤ ui, Li ≤ si ≤U
i,
f ( x) ≤ t , g ( x) ≥ s for i = 1, L
, p.
i i i i

分支定界方法在计算机视觉的应用
分支(Branching)
1.在分支时,可以先从拥有最小下界的可行集开
始,依次进行判断;
2.由于一般情况下可行集都具有较多的维数,所
以从哪一维进行分支就是一个重要的问题;
3.如何对选定维分割。

分支定界方法在计算机视觉的应用
本例在分母中寻找待分的那一维
Benson,H.P. Using concave envelopes to globally solve the nonlinear sum of
ratios problem. JGO, 22, 343‐364, 2002.