视频中多线索的人脸特征检测与跟踪1 - æ¸ åŽå¤§å­¦

位 置 很 容 易 在 图 5(d) 的 分 割 图 上 检 测 到 左 右 嘴 角 位 置 。
4. 人 脸 特 征 跟 踪
人 脸 特 征 的 跟 踪 是 建 立 在 前 一 帧 人 脸 特 征 检 测 正 确 的 基 础 上 。 一 般 的 人 脸 特 征 跟 踪 研 究 往 往 需
要 手 工 给 定 第 一 帧 的 特 征 位 置 , 然 后 研 究 单 纯 的 跟 踪 策 略 [13][14]。 我 们 的 算 法 中 , 第 一 帧 的 特 征 位
置 采 用 自 动 检 测 得 到 , 在 这 种 情 况 下 , 为 了 确 保 跟 踪 的 有 效 性 , 要 求 算 法 本 身 具 有 校 验 能 力 , 能 够
自 动 判 断 检 测 的 正 确 性 并 去 除 错 误 。 进 行 有 效 的 校 验 应 该 使 用 独 立 的 信 息 源 和 不 相 关 的 算 法 , 以 保
证 检 验 数 据 和 方 法 的 独 立 性 。 在 这 里 我 们 利 用 了 多 视 图 的 人 脸 图 象 和 刚 体 的 几 何 和 运 动 约 束 。
4.1. 特 征 检 测 正 确 性 的 检 验
通 过 相 邻 帧 的 检 测 结 果 之 间 的 相 互 校 验 , 我 们 来 确 定 检 测 的 正 确 性 。 假 设 中 性 表 情 下 的 人 脸 的
运 动 大 致 满 足 刚 体 约 束 , 我 们 采 用 几 何 约 束 和 刚 体 运 动 约 束 来 进 行 校 验 。
1. 几 何 约 束
设 {f 1 , f 2 , f 3 ,…, f n } 是 连 续 n 帧 视 频 ,{d 1,i , d 2,i ,d 3,i , d 4,i , d 5,i } 是 f i 帧 检 测 出 的 { 左 眼 - 右 眼 、 左 眼 -
左 嘴 角 、 右 眼 - 右 嘴 角 、 左 嘴 角 - 右 嘴 角 、 左 嘴 角 - 鼻 子 中 心 } 距 离 , 如 果 满 足 下 式 ,
∀j, k ∈[1,
n],
j ≠ k,
d
j
− di,
i, k
< δ
i
i =
则 认 为 {f 1 , f 2 , f 3 ,…, f n } 满 足 几 何 约 束
2. 刚 体 约 束
1,2,3,4,5
无 表 情 人 脸 的 多 视 角 图 象 被 可 以 看 成 是 刚 体 的 运 动 。 此 外 , 由 于 人 脸 到 摄 像 机 之 间 的 距 离 通 常
要 比 人 脸 上 五 官 之 间 的 深 度 变 化 大 得 多 。 所 以 , 可 认 为 眼 睛 , 鼻 孔 和 嘴 角 是 分 布 在 一 个 平 面 上 。 这
样 可 把 刚 体 的 运 动 约 束 简 化 为 仿 射 变 换 。
设 X v
v
是 最 初 的 特 征 点 位 置 , X ' 是 运 动 后 的 特 征 点 的 位 置 , 有 下 面 的 射 影 变 换 关 系 式 :
v v
X'
= RX + T ,
⎡r
R = ⎢
⎣r
11
21
r12
⎤
r
⎥
22 ⎦
⎡t1
⎤
T = ⎢ ⎥
⎣t2
⎦
可 以 证 明 3 对 点 的 ( X v , X v ' ) 可 以 完 全 确 定 一 个 射 影 变 换 的 参 数 R 和 T。 对 于 检 测 到 的 7 个 点 , 从
其 中 选 出 3 个 点 有 35 种 情 况 。 对 这 35 组 3 对 点 , 都 计 算 相 对 正 确 的 特 征 点 对 的 变 化 参 数 R: {R1,
R 2 , …, R 35 }。 如 果 满 足 下 式 :
v v
max || X ' −(
R
i
X i
+ T )
认 为 检 测 出 的 7 个 特 征 点 满 足 刚 体 约 束 。
i
2
||
< δ , 其 中 δ 控 制 特 征 检 测 允 许 的 误 差 程 度 。
当 连 续 n 帧 视 频 {f 1 , f 2 , f 3 ,…, f n } 同 时 满 足 几 何 约 束 和 刚 体 约 束 时 , 则 将 这 n 帧 特 征 都 标 志 为 正
确 , 并 将 该 第 f n 帧 检 测 结 果 设 为 一 个 标 准 , 用 以 指 导 后 来 的 跟 踪 和 检 测 。 在 第 f n 帧 设 置 为 标 准 之 后 ,
某 帧 与 标 准 帧 校 验 同 时 满 足 几 何 约 束 和 刚 体 约 束 时 才 认 为 该 帧 的 特 征 为 正 确 。
4.2. 跟 踪 策 略
在 第 i 帧 的 特 征 为 正 确 的 情 况 下 , 第 i+1 帧 在 上 一 帧 的 基 础 上 进 行 跟 踪 。 具 体 做 法 是 :
1. 根 据 第 i 帧 的 特 征 位 置 , 确 定 人 脸 当 前 大 致 的 旋 转 、 尺 度 , 据 此 框 定 第 i+1 帧 人 脸 所 在 的 大
致 位 置 。
2. 采 用 3.2 节 所 述 方 法 定 位 整 体 人 脸 , 进 而 重 复 检 测 过 程
3. 检 查 第 i+1 帧 检 测 结 果 和 第 i 帧 检 测 结 果 是 否 满 足 几 何 约 束 和 刚 体 约 束 。 满 足 , 标 志 第 i+1
帧 特 征 正 确 , 下 一 帧 继 续 跟 踪 ; 否 则 , 标 志 第 i+1 帧 特 征 错 误 。
4. 在 第 i 帧 的 特 征 为 错 误 的 情 况 下 , 进 行 4.1 所 述 连 续 n 帧 特 征 校 验 。
5. 检 测 和 跟 踪 结 果
我 们 在 189 段 不 同 光 照 下 采 集 的 视 频 (50 帧 / 段 ) 上 测 试 了 检 测 和 跟 踪 结 果 。 被 测 试 人 在 摄 像
6