PHD Thesis - Institute for Computer Graphics and Vision - Graz ...

CONTENTS
v
4 Evaluation on non-planar scenes 43
4.1 Measures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
4.1.1 Repeatability score . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
4.1.2 Matching score . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
4.1.3 Complementary score . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
4.2 Representation of the detections . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
4.3 Detection correspondence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
4.3.1 Transferring an elliptic region . . . . . . . . . . . . . . . . . . . . . . . . . 47
4.3.2 Calculating the overlap area from the point set representation . . . . . . . 48
4.3.3 Justification of the approximation . . . . . . . . . . . . . . . . . . . . . . 49
4.4 Point transfer using the trifocal tensor . . . . . . . . . . . . . . . . . . . . . . . . 50
4.5 Ground truth generation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
4.5.1 Trifocal tensor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
4.5.2 Dense matching . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
4.5.3 Ground truth quality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
4.6 Experimental evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
4.6.1 Repeatability and matching score . . . . . . . . . . . . . . . . . . . . . . . 55
4.6.2 Combining local detectors . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
5 Maximally Stable Corner Clusters (MSCC’s) 68
5.1 The MSCC detector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
5.1.1 Interest point detection . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
5.1.2 Multi scale clustering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
5.1.3 Selection of stable clusters . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
5.2 Region representation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
5.3 Computational complexity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
5.4 Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
5.5 Detection examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
5.6 Detector evaluation: Repeatability and matching score . . . . . . . . . . . . . . . 80
5.6.1 Evaluation of the ”Doors” scene . . . . . . . . . . . . . . . . . . . . . . . 80
5.6.2 Evaluation of the ”Group” and ”Room” scene . . . . . . . . . . . . . . . . 80
5.7 Combining MSCC with other local detectors . . . . . . . . . . . . . . . . . . . . 81
6 Wide-baseline methods 91
6.1 Wide-baseline region matching . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
6.1.1 Matching and registration . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
6.2 Piece-wise planar scene reconstruction . . . . . . . . . . . . . . . . . . . . . . . . 96
6.2.1 Reconstruction using homographies . . . . . . . . . . . . . . . . . . . . . . 96
6.2.2 Piece-wise planar reconstruction . . . . . . . . . . . . . . . . . . . . . . . 97
6.2.3 Experimental evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
6.2.4 Real Images . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
7 Living in a piecewise planar world 110
7.1 Map building . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
7.1.1 Sub-map identification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
7.1.2 Sub-map creation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
7.1.3 Structure computation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
7.1.4 Landmark extraction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116