æ‘„ç›¸æœºæ ‡å®š - 模式识别国家重点实验室- ä¸­å›½ç§‘å­¦é™¢è‡ªåŠ¨åŒ–ç ”ç©¶æ‰€

摄 相 机 标 定中 国 科 学 院 自 动 化 研 究 所模 式 识 别 国 家 重 点 实 验 室http://www.nlpr.ia.ac.cn/english/rv

主 要 内 容1、 引 言 : 什 么 是 摄 相 机 标 定2、 摄 相 机 标 定 方 法 的 分 类3、 传 统 摄 相 机 标 定 方 法 ( 或 利 用 景 物 信 息的 标 定 方 法 )4、 主 动 视 觉 摄 相 机 标 定 方 法5、 摄 相 机 自 标 定 方 法

1、 引 言

视 觉 目 的三 维 重 建 是 人 类 视 觉 的 主 要 目 的 , 也 是 计 算 机 视 觉的 最 主 要 的 研 究 方 向 . (Marr 1982)所 谓 三 维 重 建 就 是 指 从 图 象 出 发 恢 复 出 空 间 点 三 维坐 标 的 过 程 。三 维 重 建 的 三 个 关 键 步 骤• 图 象 对 应 点 的 确 定• 摄 像 机 标 定• 二 图 象 间 摄 像 机 运 动 参 数 的 确 定

坐 标 系1、 、 世 界 坐 标 系 :2、 、 摄 像 机 坐 标 系 :3、 、 图 像 坐 标 系 :X , Y , ZwwwXc, Yc, Zx, yc[ u, v][ ]XwO wZw世 界 坐 标 系Y wX cuxZ cvO 1图 像 坐 标 系yO摄 像 机 坐 标 系Y c

图 像 数 字 化O1在u, v 中 的 坐 标 为( u )象 素 在 轴 上 的 物 理 尺 寸 为0 ,v 0dx, dyVY dAffine Transformation :uv==uv00齐 次 坐 标 形 式 :xdydcotθ+ −dx dxyd+dy sinθCv 0θy du 0O 1θx dX dU⎡u⎤⎢ ⎥⎢v⎥⎢⎣1 ⎥⎦=⎡ fu⎢⎢0⎢⎣0−fvfucotθ/ sinθ0u0⎤⎡xv⎥⎢0⎥⎢y1 ⎥⎦⎢⎣1dd⎤⎥⎥⎥⎦其 中fu=1,dxfv=1dy

摄 像 机 的 内 参 数 矩 阵 K⎡u⎢v⎢⎢⎣1⎤⎥⎥⎥⎦=⎡ f − f cotθu ⎤⎡xu u0⎢⎥⎢0 f / sinθv y⎢v0⎥⎢⎢⎣0 0 1 ⎥⎦⎢⎣1144424443Kdd⎤⎥⎥⎥⎦

2、 摄 相 机 标 定 方 法 分 类

分 三 类• 传 统 摄 像 机 标 定 方 法• 主 动 视 觉 摄 像 机 标 定 方 法• 摄 像 机 自 标 定 方 法

1. 传 统 的 摄 像 机 标 定 方 法特 点利 用 已 知 的 景 物 结 构 信 息 。 常 用 到 标 定 块 。

1. 传 统 的 摄 像 机 标 定 方 法• 优 点可 以 使 用 于 任 意 的 摄 像 机 模 型 , 标 定 精 度 高• 不 足标 定 过 程 复 杂 , 需 要 高 精 度 的 已 知 结 构 信 息 。在 实 际 应 用 中 很 多 情 况 下 无 法 使 用 标 定 块 。

2. 主 动 视 觉 摄 像 机 标 定 方 法• 特 点• 优 点已 知 摄 像 机 的 某 些 运 动 信 息通 常 可 以 线 性 求 解 , 鲁 棒 性 比 较 高• 不 足不 能 使 用 于 摄 像 机 运 动 未 知 和 无 法 控 制 的 场 合

3. 摄 像 机 自 标 定 方 法• 特 点• 优 点• 不 足仅 依 靠 多 幅 图 像 之 间 的 对 应 关 系 进 行 标 定仅 需 要 建 立 图 像 之 间 的 对 应 , 灵 活 性 强 , 潜 在应 用 范 围 广 。非 线 性 标 定 , 鲁 棒 性 不 高

3、 摄 像 机 传 统 标 定 方 法

主 要 内 容4.1、DLT 方 法4.2、RAC 方 法4.3、 张 正 友 的 平 面 标 定 方 法 (ICCV, 1999)4.4、 孟 胡 的 平 面 圆 标 定 方 法 (PR, 2003)4.5、 吴 毅 红 等 的 平 行 圆 标 定 方 法 (ECCV, 2004)

4.1、 直 接 线 性 变 换 (DLT 变 换 )DLT: Direct Linear Transformation

DLT 变 换Abdal-Aziz 和 Karara 于 70 年 代 初 提 出 了 直 接线 性 变 换 像 机 定 标 的 方 法 , 他 们 从 摄 影 测 量学 的 角 度 深 入 的 研 究 了 像 机 图 像 和 环 境 物 体之 间 的 关 系 , 建 立 了 像 机 成 像 几 何 的 线 性 模型 , 这 种 线 性 模 型 参 数 的 估 计 完 全 可 以 由 线性 方 程 的 求 解 来 实 现 。

DLT 变 换消 去 s , 可 以 得 到 方 程 组 :pp1121XXww++pp1222YYww+ p+ p1323ZZww++pp1414−−pp3131uXuXww−−pp3232uYwuYw−−pp3333uZwuZw−−pp3434u = 0u = 0

DLT 变 换像 机 定 标 的 任 务 就 是 寻 找 合 适 的 , 使 得 为最 小 , 即minL||AL给 出 约 束 : p = 341||L|| AL ||'L= −(CC)T −1CTB'LL C A为 的 前 11 个 元 素 组 成 的 向 量 , 为 前 11 列 组 成 的 矩阵 , B为 A第 12 列 组 成 的 向 量 。

DLT 变 换p = 1 34 是 否 合 理 ?p 34 = 1约 束 不 具 有 旋 转 和 平 移 的 不 变 性 , 解 将 随 着 世界 坐 标 系 的 选 取 不 同 而 变 化 .证 明 :世 界 坐 标 系 作 刚 性 坐 标 变 换P'=⎡RP⎢⎣0t⎤1⎥⎦'则 p34= p31t1+ p32t2+ p33t3+ p34显 然 在 一 般 的 情 况 下p≠'34p 34

DLT 变 换另 一 个 约 束p2 2 231+ p32+ p33=1具 有 旋 转 和 平 移 的 不 变 性R 1( r , r r )11 21,31P 3( p31,p32,p33)R 3( r , r r )13 23,33θ θ1 3θ 2R 2( r , r r )12 22,32R R23向 量 , , R1 是 两 两垂 直 的 单 位 向 量由222cos θ1+ cos θ2+ cos θ3= 1

4.2、R. Tsai 的 RAC 的 定 标 算 法

简 介80 年 代 中 期 Tsai 提 出 的 基 于 RAC 的 定 标 方 法 是 计算 机 视 觉 像 机 定 标 方 面 的 一 项 重 要 工 作 , 该 方法 的 核 心 是 利 用 径 向 一 致 约 束 来 求 解 除 t z ( 像机 光 轴 方 向 的 平 移 ) 外 的 其 它 像 机 外 参 数 , 然后 再 求 解 像 机 的 其 它 参 数 。 基 于 RAC 方 法 的 最 大好 处 是 它 所 使 用 的 大 部 分 方 程 是 线 性 方 程 , 从而 降 低 了 参 数 求 解 的 复 杂 性 , 因 此 其 定 标 过 程快 捷 , 准 确 。

主 要 内 容• 像 机 模 型• 径 向 一 致 约 束• 定 标 算 法

像 机 模 型X wx cOZ wyY wxo'z c世 界 坐 标 系 和 摄 像 机 坐 标 系 的 关 系⎛ X ⎞⎛ x ⎞⎜ ⎟⎜ ⎟⎜ Y ⎟⎜ y ⎟ ≈ K ( R t )⎜ ⎟⎜ ⎟Z⎝ 1 ⎠⎜⎟⎝ 1 ⎠在 Tsai 的 方 法 中 ,K 取 作 :o cy cK=⎛⎜⎜⎜⎝f s ,0 ,0 ,0 ,f ,0 ,vu010⎞⎟⎟⎟⎠

像 机 模 型(x, y)(u, v)理 想 图 像 坐 标 到 数 字 图 像 坐 标 的 变 换( 只 考 虑 径 向 偏 差 )(uc, vc)( x−uc)(1 +k1( u2+v2))=u−uc(y−vc)(1 +k1( u2+v2))=v−vc(u, v) 为 一 个 点 的 数 字 化 坐 标 ,(x, y) 为 理 想的 数 字 化 坐 标 ,(uc, vc) 为 畸 变 中 心 。

径 向 一 致 约 束在 图 像 平 面 上 , 点 (xc, yc),(x, y),(u, v) 共 线 ,或 者 直 线 (xc, yc)(x, y) 与 直 线 ( xc, yc )( u, v ) 平 行 或斜 率 相 等 , 则 有 :xy−−uvcc通 常 把 图 像 中 心 取 作 畸 变 中 心 和 主 点 的 坐 标 , 因 此 :=uv−−uvccxy−−uv00=uv−−uv00

定 标 算 法定 标 步 骤 :R, t1,t1. 利 用 径 向 一 致 约 束 来 求 解 和2s2. 求 解 有 效 焦 距 f、 z方 向 上 的 平 移 t3 和 畸 变 参 数 k1K=⎛⎜⎜⎜⎝f s ,0 ,0 ,f0 ,,0 ,vu010⎞⎟⎟⎟⎠

定 标 算 法 —— 步 骤 一1. 求 解 像 机 外 参 数 旋 转 矩 阵 R 和 x 、 y 方 向 上 的 平 移K=⎛⎜⎜⎜⎝f0 ,s ,0 ,根 据 :得 到 :f0 ,,0 ,vu010⎞⎟⎟⎟⎠⎛⎜⎜⎜⎝1xy⎞⎟⎟⎟⎠≈K(7R⎛ X⎜⎜ Yt )⎜ Z⎜⎝ 1fs(r1 X + r2Y+ r3Z + t1)x =+r X + rY + r Z + t78f ( r4 X + rY5+ r6Z + t2)y =+r X + rY + r Z + t8⎞⎟⎟⎟⎟⎠99R33⎛ r⎜= ⎜ r⎜⎝ r147r2rruv5800rrr369⎞⎟⎟⎟⎠t⎛ t⎜= ⎜ t⎜⎝ t123⎞⎟⎟⎟⎠

定 标 算 法 —— 步 骤 一再 根 据 :xy−−uv00=uv−−uv00得 到 :s(rr X41X + r2Y+ r3Z + t1)+r Y5+r6Z+t2=uv−−uv00由 至 少 7 组 对 应 点 , 可 以 求 得 一 组 解M0=(m1, m2, m3, m4, m5, m6, m7, m8)≈ (sr1, sr2, sr3, st1, r4, r5, r6, t2)

定 标 算 法 —— 步 骤 一对 M0 除 以c = m +2 2 25+ m6m7则 得 到 一 组 解 (sr1, sr2, sr3, st1, r4, r5, r6, t2) 。2 2 2由 r + r + r 1可 求 出 s, 从 而 t1 也 可 被 解 出 。1 2 3=( r7,r8, r9) = ( r1, r2, r3) × ( r4, r5, r6)( r7,r8, r9) = ( r4, r5, r6) × ( r1, r2, r3)或 者根 据det( R ) = 1 , 来 选 择 r , r , )(7 8r9

定 标 算 法 —— 步 骤 二2. 求 解 t3, f, k1k1=0 作 为 初 始 值 , 则 :x−uc=u−ucy−vc=v−vcfs(r1 X + r2Y+ r3Z + t1)x =+r X + rY + r Z + t778f ( r4 X + rY5+ r6Z + t2)y =+r X + rY + r Z + t89933uv00

定 标 算 法 —— 步 骤 二将 x, y 的 表 达 式 代 入 , 并 将 上 一 步 中 求 出 的 R, t1, t2 的值 代 入 , 得 :( u − u0 )( r7X + r8Y+ r9Z + t3)= fs(r1X + r2Y+ r3Z + t1)( v − v0 )( r7X + r8Y+ r9Z + t3)= f ( r4X + r5Y+ r6Z + t2)由 此 可 解 出 f , t3

定 标 算 法 —— 步 骤 二将 求 出 的 t 和 f 连 同 k 1= 0 作 为 初 始 值 , 对 下 式 进 行 非 线 性 优 化3fs ( r1X + r2Y+r X + r Y + rf778( r4X + r5Y+ r6Z + tr X + r Y + r Z + t899r3Z +Z + t33t12))(1(1++kk11( u( u22++vv22))))==u −v −uv00估 计 出 t3、 f 和 的 真 实 值 。k 1

4.3、 张 正 友 的 平 面 标 定 方 法

张 正 友 方 法Y cM( X ,Y, 0)Z cOY w( u v)m ,X cO wZ wX w

张 正 友 方 法基 本 原 理 :⎡u⎤s⎢ ⎥⎢v⎥⎢⎣1 ⎥⎦=⎡X⎤⎢ ⎥ ⎡X⎢YK[r ⎥ =⎢1r2r3t]K[r1r2t]⎢0⎥ ⎢Y⎢ ⎥ ⎢⎣1⎣1H⎦• 在 这 里 假 定 模 板 平 面 在 世 界 坐 标 系 Z 的 平 面 上• 其 中 , K 为 摄 像 机 的 内 参 数 矩 阵 ,为 模T板 平 面 上 点 的 齐 次 坐 标 , m ~ M ~ = 0= [ X Y 1]T= [ u v 1]为 模 板 平 面 上 点投 影 到 图 象 平 面 上 对 应 点 的 齐 次 坐 标 ,[ r ] 和 t1r2r3 分 别 是 摄 像 机 坐 标 系 相 对 于 世 界 坐 标 系 的 旋 转 矩 阵 和平 移 向 量⎤⎥⎥⎥⎦

张 正 友 方 法H =[ h h2h3] = λ K [ r1r21t]r11= Kλ−1r T r 0 r = r 1h1,r21= Kλ根 据 旋 转 矩 阵 的 性 质 , 即 2 和 2 , 每幅 图 象 可 以 获 得 以 下 两 个 对 内 参 数 矩 阵 的 基 本 约 束1=1=−1h2hhT −T−11K K h2= 0T −T−1T −T−11K K h1= h2K K h2由 于 摄 像 机 有 5 个 未 知 内 参 数 , 所 以 当 所 摄 取 得 的 图 象 数目 大 于 等 于 3 时 , 就 可 以 线 性 唯 一 求 解 出 K

张 正 友 方 法张 正 友 方 法 所 用 的 平 面 模 板

张 正 友 方 法算 法 描 述1. 打 印 一 张 模 板 并 贴 在 一 个 平 面 上2. 从 不 同 角 度 拍 摄 若 干 张 模 板 图 象3. 检 测 出 图 象 中 的 特 征 点4. 求 出 摄 像 机 的 内 参 数 和 外 参 数5. 求 出 畸 变 系 数6. 优 化 求 精

张 正 友 方 法张 正 友 的 平 面 标 定 方 法 是 介 于 传 统 标 定 方 法 和 自 标 定 方 法 之间 的 一 种 方 法 。 它 既 避 免 了 传 统 方 法 设 备 要 求 高 , 操 作 繁 琐等 缺 点 , 又 较 自 标 定 方 法 精 度 高 , 符 合 办 公 、 家 庭 使 用 的 桌面 视 觉 系 统 (DVS) 的 标 定 要 求 。张 的 方 法 的 缺 点 是 需 要 确 定 模 板 上 点 阵 的 物 理 坐 标 以 及 图 像和 模 板 之 间 的 点 的 匹 配 , 这 给 不 熟 悉 计 算 机 视 觉 的 使 用 者 带来 了 不 便 。

4.4、 孟 晓 桥 、 胡 占 义 的 圆 标 定 方 法

孟 胡 方 法所 用 的 模 版

孟 胡 方 法从 至 少 三 个 不 同 方 位 拍 摄 模 板 图 象 , 根 据 射影 不 变 性 计 算 出 每 幅 图 象 上 的 圆 环 点 像 的 坐标 , 得 到 关 于 内 参 数 矩 阵 的 至 少 六 个 方 程 ,即 可 解 出 所 有 内 参 数 。

孟 胡 方 法• 计 算 圆 环 点 像 的 原 理 :圆 环 点 为 无 穷 远 点 , 它 是 绝对 二 次 曲 线 上 的 一 对 共 轭 点2 2 2x1 + x2+ x3= 0,x0= 0模 板 平 面C 1无 穷 远 直 线A 2B 1O( 1, i,0)(1,i,0,0)A 1B 2( 1,−i,0)(1,-i,0,0) 是 一 对 圆 环 点C 2

孟 胡 方 法2 2 2x1 + x2+ x3= 0,x0= 0x=(1 2 3x , x , x )TTx x =0X ==TT( x1,x2, x3,0) ( x,0)K−1在 图 像 上 , 两 个 圆 环 点 的 图 像 被 计 算 出 ,则 有 :⎛ u ⎞ ⎛ x⎜ ⎟ ⎜⎜ v ⎟ ≈ R ⎜ x⎜ ⎟ ⎜⎝1 ⎠ ⎝ x123⎞⎟⎟⎟⎠mmT −T−11 K K m1=T −T−12 K K m2=⎛ x1⎞⎛ u ⎞⎜ ⎟ ⎛ x⎜ ⎟⎜ x2 ⎟ ⎜⎜ v ⎟ ≈ K ( R t)⎜ ⎟ = KR ⎜ x⎜ ⎟x3⎜ ⎟ ⎜⎝1 ⎠⎝ x⎝ 0 ⎠⎛ u ⎞⎜ ⎟−T−1( u v 1) K K ⎜ v ⎟ = 0⎜1⎟⎝ ⎠0m 1 , m 20123⎞⎟⎟⎟⎠

孟 胡 方 法• 孟 胡 的 方 法 与 张 的 方 法 相 比 :过 程 相 似 ;所 用 的 模 版 不 同 , 孟 胡 的 方 法 基 于 曲 线 拟 合( 稳 定 ), 并 且 不 需 要 任 何 匹 配 , 而 张 的 方 法基 于 点 , 需 要 匹 配 模 版 的 点 和 图 像 点 。

4.5、 吴 等 的 平 行 圆 标 定 方 法

吴 等 的 标 定 方 法• 平 行 圆 : 同 一 个 平 面 上 的 圆 、 或 平 行 平 面 上 的圆 。• 原 理 : 利 用 摄 像 机 成 像 的 准 仿 射 不 变 性 , 计 算图 像 上 二 此 曲 线 的 交 点 , 得 到 圆 环 点 的 图 像m 1 , m 2 进 而 :T −T−1m2 K K m2= 0T −T−1m K K m 01 1 =

吴 等 的 标 定 方 法该 方 法 从 平 行 圆 的 最 小 个 数 出 发 , 基 于 准 仿 射 不变 性 , 分 析 了 所 有 可 能 情 况 的 计 算 圆 环 点 的 方法The line at infinity共 面 分 布 :The line at infinityThe line at infinitya) The concentric caseb) The inner-tangent casec) The outer-tangent caseThe line at infinityThe line at infinityThe line at infinityd) The intersecting casee) The separate casef) The enclosing but notconcentric case

吴 等 的 标 定 方 法以 上 可 进 行 推 广 到 非 共 面 的 平 行 圆 的 情 形K=⎡1409.3835⎢⎢0⎢⎣08.04171385.37720568.2194⎤349.3042⎥⎥1 ⎥⎦

吴 等 的 标 定 方 法利 用 K 重 建 一 个 垂 直 角 ; 重 建 平 行 线 之 间 的 交 角重 建 的 垂 直 角 89.28 º重 建 的 平 行 角 0.0000475 º

吴 等 的 标 定 方 法该 方 法 和 以 往 的 基 于 圆 的 标 定 方 法 相 比 :(1). 从 最 小 个 数 出 发 ;(2). 计 算 圆 环 点 图 像 简 单 ;(3). 只 需 要 从 拟 合 的 二 次 曲 线 出 发 , 不 需 要 任 何 匹配 , 不 需 要 计 算 圆 心 ;(4). 应 用 场 合 广 泛 , 不 仅 仅 限 于 平 面 的 情 形 . 可 应用 基 于 转 盘 的 重 构 。

吴 等 的 标 定 方 法应 用 :• 定 标• 用 于 基 于 转 盘的 3 维 重 建 中 :G. Jiang, L. Quan, H.T. Tsui, Circular motiongeometry by minimal 2 points in 4 images, ICCV2003

4、 主 动 视 觉 标 定 方 法

胡 占 义 等 的 主 动 视 觉 标 定 方 法• 基 于 平 面 单 应 矩 阵 的 正 交 运 动 方 法• 基 于 外 极 点 的 正 交 运 动 方 法

胡 主 动 视 觉 标 定 方 法• 基 于 平 面 单 应 矩 阵 的 正 交 运 动 方 法 原 理(1) (2)t ,t 是 摄 像 机 一 组 正 交 的 平 移 运 动 , 两 个 单应 矩 阵 :H1(1)(2)t n −1t n −1= σ1(I + K K ) H2= σ2( I + K K )dd满 足 :r Tr TK−1( HT1−σI ) K1−TK−1( H2−σI ) K2σ σ=d1 22rn(t(1))Tt(2)rnT=0

胡 主 动 视 觉 标 定 方 法• 基 于 平 面 单 应 矩 阵 的 正 交 运 动 方 法 原 理即 :( H T1 12 2=, 其 中−T−1− σ I ) C ( H − σ I ) 0 C = K K五 组 两 正 交 运 动 可 完 全 求 解 5 个 内 参 数 。

胡 主 动 视 觉 标 定 方 法• 基 于 外 极 点 的 正 交 运 动 方 法 原 理210第 1、2 幅 图 像 在 第 0 幅 图 像 的 外 极 点 分 别 是 :e1 ≈ Kt1e2≈ Kt2则 :t− 1− 11≈ K e1t2≈ K e2

胡 主 动 视 觉 标 定 方 法• 基 于 外 极 点 的 正 交 运 动 方 法 原 理从 而 :eτ −τ−1τ2K K e1= t2t1=0五 组 两 正 交 运 动 可 完 全 求 解 5 个 内 参 数 。

胡 主 动 视 觉 标 定 方 法这 两 种 主 动 视 觉 标 定 方 法 与 最 经 典 的 主 动 视 觉标 定 方 法 ( 马 颂 德 的 三 正 交 运 动 法 ) 相 比 , 具有 如 下 优 点 :• 照 相 机 的 二 正 交 运 动 比 三 正 交 运 动 更 容 易 实 现 。• 可 以 求 解 摄 像 机 的 所 有 5 个 内 参 数 , 马 颂 德 的方 法 可 以 求 解 4 个 内 参 数 。

5、 摄 像 机 自 标 定 方 法

摄 像 机 自 标 定中 国 科 学 院 自 动 化 研 究 所模 式 识 别 国 家 重 点 实 验 室

1、 预 备 知 识 :主 要 内 容什 么 是 摄 像 机 自 标 定 ?为 什 么 要 对 摄 像 机 进 行 自 标 定 ?对 极 几 何 ……2、 基 于 Kruppa 方 程 的 自 标 定 方 法3、 基 于 绝 对 二 次 曲 面 、 无 穷 远 平 面 的 自 标 定 方 法4、 几 种 自 标 定 方 程 的 关 系

1、 预 备 知 识

什 么 是 自 标 定 ?摄 像 机 自 标 定 是 指 不 需 要 标 定 块 , 仅 仅 通 过 图 象 点 之间 的 对 应 关 系 对 摄 像 机 进 行 标 定 的 过 程 。为 什 么 要 进 行 自 标 定 ?实 际 应 用 的 需 求 , 主 要 应 用 场 所 的 转 移优 缺 点 :优 点 : 灵 活 , 方 便缺 点 : 精 度 不 太 高 , 鲁 棒 性 不 足

自 标 定 的 基 本 假 设 及 任 务1、 假 定 图 象 点 之 间 的 对 应 关 系 已 经 确 定 。2、 一 般 来 说 , 认 为 在 拍 摄 不 同 图 象 时 , 摄 像 机 的 内参 数 没 有 发 生 变 化3、 所 谓 的 自 标 定 , 就 是 要 标 定 摄 像 机 的 内 参 数 矩 阵 KK=⎛⎜⎜⎜⎝fu00 fvv00s0u1⎞⎟⎟⎟⎠

一 些 预 备 知 识1、 点 的 齐 次 坐 标⎛u二 个 齐 次 坐 标 如 相 差 一 个 非 零 因 子 , 则 这 二 ⎜个 齐 次 坐 标 相 同⎝ v2、 无 穷 远 直 线 上 的 点⎛u⎞⎜ ⎟如 点 ⎜ v ⎟ 为 无 穷 远 直 线 上 的 点 , 则 t =0⎜ ⎟⎝ t ⎠⎞⎟⎠⎛u⎞⎜→ ⎜ v⎜ ⎟ ⎟⎟ ⎝1⎠

一 些 预 备 知 识3、 通 过 二 点 的 直 线如 果x⎛ u⎜= ⎜u⎜⎝ t1⎞⎟⎟⎟⎠该 二 点 的 直 线 的 参 数 向 量 为 :1⎞⎟⎟⎟⎠1 2,LTxx2⎛u⎜= ⎜ v⎜⎝ tT1= 0 L x2=222为 二 图 象 点 , 则 通 过L = x 1 × x 20x 2x 1L

一 些 预 备 知 识反 对 称 矩 阵 (Anti-symmetric or Skew-Symmetric matrix)给 定 向 量义 为 :a =( a a )1 2a3[ a]×⎛ 0⎜= ⎜ a3⎜⎝−a2, 其 对 应 的 反 对 称 矩 阵 定− a0a13a2− a01⎞⎟⎟⎟⎠则 对 应 任 意 的 向 量 b, 有[ a] ba × b = ×

一 些 预 备 知 识对 偶 原 理如 果 C 为 一 非 退 化 的 图 象 二 次 曲 线 , 即 :J= x Cx=0T TC = C , Det(C)≠ 0过 x 处 的 切 线 参 数 向 量 为 :则x=1 − 1则 , 代 入 上 式 可 得 :2ClΩ≈Cl T Ωl = 0−1l = ∂ J = 2Cx∂x点 坐 标 曲 线对 偶 线 坐 标 曲 线

一 些 预 备 知 识x 3Cx 1对 偶 曲 线 示 意 图Ωl 3l 1l 2x 2l 2l 1l 3点 坐 标 曲 线对 偶 线 坐 标 曲 线

一 些 预 备 知 识欧 几 理 得 空 间 下 的 投 影 矩 阵如 果 X 为 空 间 某 一 点 , 两 摄 像 机 间 的 坐 标 变 换 为 :Exl = Rxr+ T则 欧 几 理 得 空 间 下 的 两 投 影 矩 阵 为 :E( I ) P K( R T )Pl = K 0r=K 为 摄 像 机 的 内 参 数 矩 阵其 中 X 为 空 间 点 ,m l, m r对 应 于 X 的 一 对 图 象 对 应 点mmlr≈≈PElPEr⎛⎜⎝⎛⎜⎝X投 影 关 系1X1⎞⎟⎠⎞⎟⎠

一 些 预 备 知 识对 极 几 何 (Epipolar Geometry)NMll'oImeI′e'm′o′'n

一 些 预 备 知 识基 本 矩 阵 的 推 导 及 形 式mm≈≈PEl⎛⎜⎝KX ,X1⎞⎟,⎠m'≈m'≈PK(RXEr⎛⎜⎝X1⎞⎟⎠+ T ),T⊗ ( K−1m')≈T⊗RX(')T −T−1('m K [ T ] RK m = 0, m )F×≈K−T[ T ]×RK−1TFm=0F 的 秩 为 2,F 在 相 差 一 个 常 数 因 子 下 是 唯 一 确 定 的 。F 可 以 通 过 8 对 图 象 对 应 点 线 性 确 定 。

一 些 预 备 知 识对 极 几 何 的 一 些 代 数 性 质如 果 m 位 于 极 线 l 上 ,n ’ 位 于 极 线 l’ 上 ,m, n ’ 不 一 定是 对 应 点 , 下 述 关 系 仍 然 成 立 :'n TFm =0l'≈Fm所 有 的 外 极 线 都 过 对 应 的 外 极 点 , 外 极 点 是 光 心 连 线与 图 象 平 面 的 交 点 。 对 应 外 极 线 束 构 成 一 射 影 变 换基 本 矩 阵 和 外 极 点 的 关 系TFe = 0, F e'=0l≈FT( e' )T Fm =in'0

一 些 预 备 知 识l''m'n'n T Fm = 0'm TFm = 0e'l'≈Fm=m'⊗n'

一 些 预 备 知 识中 心 投 影 下 , 如 果射 影 平 面 与 空 间 曲线 相 切 , 则 射 影 平面 与 图 象 平 面 的 交线 必 与 空 间 曲 线 在图 象 平 面 上 的 投 影曲 线 相 切图 象 平 面空 间 曲 线

一 些 预 备 知 识绝 对 二 次 曲 线 摄 像 机 自 标 定 的 参 考 标 定 物绝 对 二 次 曲 线 是 无 穷 远 平 面 上 的 一 条 二 次 曲 线 , 它 的数 学 定 义 为 :XXT=X= 0 t = 0( x y z) T

一 些 预 备 知 识绝 对 二 次 曲 线 在 图 象 上 投 影 的 性 质绝 对 二 次 曲 线 的 象 仅 与 摄 像 机 的 内 参 数 有 关 , 与 摄像 机 的 运 动 参 数 无 关m≈K从 定 义 X T X=0 知 ,⎛ X ⎞T −1( R T ) ⎜ ⎟,X ≈ R K m⎝0⎠mTK−TK−1m=0给 定 正 定 矩 阵分 解 唯 一 确 定C−T= K K−1, 则 K 可 以 通 过 Cholesky

自 标 定 的 基 本 思 路如 何进 行通 过 绝 对 二 次 曲 线 建 立 关 于 摄 像 机 内 参 数 矩 阵 的约 束 方 程 , 称 之 为 Kruppa 方 程求 解 Kruppa 方 程 确 定 矩 阵 C通 过 Cholesky 分 解 得 到 矩 阵 K

2、 基 于 Kruppa 方 程 的 自 标 定 方 法

推 导 Kruppa 方 程 的 示 意 图llC iω iΩe il re jω jΠ ∞x lx rC j

Kruppa 方 程xxTlTrCxCxlr==00对 偶llTlTrωωlllr==00l l ×≈ [ e]x,x 为 位 于 l l 上 的 任 意 一 点 , 则 ,l r≈ Fx则xTT[ e]ω[e]x = 0, x F ωFx=× ×TT0则T[ e]ω [ e] = λF× ×TωFω = KKT

ω 的 组 成 形 式C−T= K K−1对 偶 曲 线ω = KKTω ≈⎛ω1⎜⎜ω2⎜⎝ω3ωωω245ω3⎞⎟ω5⎟ω ⎟6 ⎠

关 于 Kruppa 方 程 的 几 点 说 明1、 在 Kruppa 方 程 中 ,F,e 为 已 知 数 ,ω 为 未 知 数2、 ω 有 5 个 独 立 未 知 变 量3、 每 个 Kruppa 方 程 最 多 可 以 提 供 2 个 关 于 未 知 变 量 的 独立 约 束 , 约 束 方 程 为 5 元 二 次 方 程4、 每 对 图 象 可 以 得 到 一 个 Kruppa 方 程 , 故 至 少 需 要 3 对图 象 来 标 定 摄 像 机 , 且 摄 像 机 的 内 参 数 必 须 保 持 不 变5、 假 定 内 参 数 都 在 变 , 任 意 两 幅 图 像 间 有 两 个 独 立 的Kruppa 方 程 , 则 N (>=3) 幅 图 像 之 间 有 N(N-1) 个 Kruppa方 程 , 其 中 只 有 5N-9 个 方 程 是 独 立 的 。

3、 基 于 绝 对 二 次 曲 面 、无 穷 远 平 面 的 自 标 定 方 法

绝 对 二 次 曲 面• 将 世 界 坐 标 系 取 作 第 一 个 摄 像 机 的 坐 标 系 , 则 绝 对 二次 曲 面 是 :⎛ IΩ ≈ ⎜⎝a⎛⎜K=⎜⎝aττ1KKτ110⎞⎛K⎟⎜1⎠⎝0Kτ1τ1Kaτ10⎞⎛I⎟⎜1⎠⎝0KKτ11aKτ1τ⎞⎟a⎟⎠0⎞⎛K⎟⎜0⎠⎝0τ10⎞⎟1⎠其 中 K1 是 第 一 个 摄 像 机 的 内 参 数 ,a 是 无 穷 远 平 面的 法 向 量 。τ⎛ I⎜⎝aτ0⎞⎟1⎠τ

绝 对 二 次 曲 面 定 标 方 程1 ( I 0 ) Pi≈ ( H i ei)P ≈i = 2,L ,N是 射 影 重 建 , 则 有 :ττKiKi≈ ( Hi,ei) Ω ( Hi,ei) i = 2,L , N≈( Hi,ei⎛) ⎜⎝K1bKττ11b⎞⎟( H⎠i,ei)τ

无 穷 远 平 面 的 单 应 矩 阵1 ( I 0 ) Pi≈ ( H i ei)P ≈i = 2,L ,N是 射 影 重 建 , 第 1 幅 和 第 i 幅 图 像 之 间 的 无 穷 远 平 面 的单 应 矩 阵 是 :Hi+eiaτi = 2,L ,N

基 于 无 穷 远 平 面 单 应 矩 阵 的 标 定 方 程方 程 是 :Kττ ττi K i ≈ ( H i + eia) K1K1( H i + eia)τi = 2,L ,NxπmH3×3m 'ee '

4、 几 种 自 标 定 方 程 的 关 系

关 系基 于 绝 对 二 次 曲 面 的 标 定 方 程 与 基 于 无 穷 远 平 面 的 标定 方 程 完 全 等 价 。由 绝 对 二 次 曲 面 的 标 定 方 程 或 无 穷 远 平 面 的 标 定 方 程可 以 推 出 Kruppa 方 程 。 反 之 , 对 Kruppa 方 程 添 加 一 个方 程 后 , 可 以 推 出 绝 对 二 次 曲 面 的 标 定 方 程 或 无 穷 远平 面 的 标 定 方 程 。