计 算 机 视 觉 —— 目 录

计 算 机 视 觉 —— 目 录• 第 四 部 分 中 层 视 觉• 第 十 四 章 基 于 聚 类 的 分 割 方 法• 第 十 五 章 基 于 模 型 拟 合 的 分 割• 第 十 六 章 使 用 随 机 方 法 的 分 割 与 拟 合• 第 十 七 章 基 于 线 性 动 态 模 型 的 跟 踪• 第 五 部 分 高 层 视 觉 : 几 何 方 法• 第 十 八 章 基 于 模 型 的 视 觉• 第 十 九 章 平 滑 表 面 及 其 轮 廓• 第 二 十 章 外 观 图• 第 二 十 一 章 距 离 数 据• 第 六 部 分 高 层 视 觉 : 基 于 概 率 和 推 理 的 方 法• 第 二 十 二 章 利 用 分 类 器 建 立 模 板• 第 二 十 三 章 基 于 模 板 间 关 系 的 识 别• 第 二 十 四 章 基 于 空 间 关 系 的 几 何 模 板

机 器 人 视 觉 – KeJia 为 例• 目 标• 感 知 环 境• 人 体 检 测 : 家 庭 中 人 体 位 置• 人 脸 识 别 : 区 分 不 同 人• 检 测 家 具 : 行 动 中 避 障• 识 别 物 体• 物 体 检 测 / 识 别 : 识 别 物 体 , 获 得 位 置 以 便 抓 取

图 像 设 备• 普 通 彩 色 摄 像 头

图 像 设 备• Kinect:• Rgb-camera• Depth sensor• Mic array

图 像 设 备• KeJia 摄 像 头 组 合

云 点 (Point Cloud)

云 点 (Point Cloud)• 每 个 像 素 拥 有 位 置 信 息• 如 (x, y, z)• 极 大 的 扩 充 了 信 息 量 :• RGB --> XYZRGB• 如 何 对 齐 ?• Kinect 内 部 可 以 对 齐• 如 何 做 到 的 ?• 摄 像 头 标 定 (Camera Calibration)

颜 色 和 纹 理• 颜 色• RGB, HSV• 颜 色 直 方 图 (Histogram)• 纹 理• 如 何 表 示 ?• 形 状 (Shape)• 局 部 特 征 (Local Features)• LBP(Local Binary Patterns)• SIFT(Scale Invariant Feature Transform), SURF(Speeded-UpRobust Feature)

颜 色 和 纹 理• 颜 色• RGB, HSV• 颜 色 直 方 图 (Histogram)• 特 征 向 量• 高 维 空 间 中 的 向 量

颜 色 和 纹 理• 局 部 特 征 (Local Features)• LBP(Local Binary Patterns)• SIFT(Scale Invariant Feature Transform),SURF(Speeded-Up Robust Feature)

工 具 包• OpenCV• Open source Computer Vision• 平 面 视 觉 最 好 的 库• PCL• Point Cloud Library• 目 前 最 流 行 ( 也 是 最 好 ) 的 立 体 视 觉 的 库

工 具 包 —— OpenCV• 提 供 了 一 系 列 视 觉 常 用 的 数 据 结 构 和 算 法 实 现• 包 括 但 不 限 于 边 缘 检 测 , 直 方 图 计 算 , 人 脸 检 测 和 识 别 ,纹 理 特 征 提 取 与 匹 配 ……• C++, C, Python, Java 接 口• 多 平 台 支 持 :Windows, Linux, Android, Mac OS• 开 源 —— under BSD license• 全 部 代 码 均 可 以 获 取• BSD 协 议 允 许 科 研 及 商 业 用 途

工 具 包 —— PCL• 正 在 迅 速 成 长 的 3D 视 觉 库• 提 供 通 用 的 云 点 (Point Cloud) 表 示 , 处 理 , 可 视 化• 云 点 的 存 储 (IO)• 处 理 方 法 包 括 但 不 限 于 Filters, features, segmentation• 云 点 的 可 视 化

学 习 方 法• 花 了 很 多 时 间 却 没 有 掌 握 ?• 没 有 掌 握 方 法 !• 依 照 个 人 兴 趣 和 习 惯 制 定 学 习 计 划• 先 调 研 , 再 实 践• 广 泛 阅 读 相 关 背 景 资 料 , 学 习 理 论 知 识 , 全 盘 掌 握 后 再 做 实验 , 进 行 实 践• 边 实 践 , 边 调 研• 并 不 完 全 掌 握 理 论 知 识 , 阅 读 一 些 背 景 资 料 , 在 实 践 的 过 程中 不 断 学 习 完 善 理 论 知 识• 实 践 很 重 要 ! Practice!

实 践 练 习• 调 研 ( 结 合 OpenCV 中 的 实 现 )• Canny 边 缘 检 测 算 法• Haar 人 脸 检 测 算 法

实 践 练 习• 实 验• 边 缘 检 测 : 使 用 OpenCV 中 的 Canny 边 缘 检 测 算 子 对 图像 进 行 边 缘 检 测 , 设 定 不 同 阈 值 查 看 检 测 效 果• 人 脸 检 测 : 使 用 OpenCV 中 的 人 脸 检 测 实 现 , 对 大 约 20张 人 像 图 片 进 行 人 脸 检 测 , 测 试 其 性 能 ( 准 确 率 , 错 误率 )• 平 面 分 割 : 使 用 PCL 中 的 平 面 分 割 实 现 对 桌 面 云 点 的 分割 与 可 视 化• 注 意 : 前 两 个 实 验 可 以 独 立 完 成 , 第 三 个 实 验 建 议 结合 ROS 完 成 ( 更 方 便 )

实 践 练 习• 根 据 自 己 兴 趣 任 选 一 项• 调 研 需 要 写 一 个 算 法 的 详 细 报 告• 实 验 需 要 完 成 代 码 以 及 实 验 报 告 , 主 要 是 分 析• 实 践 能 力 强 的 同 学 推 荐 完 成 多 项 实 验 (OpenCV+PCL)• 附 上 姓 名 , 学 号 , 以 及 是 否 有 意 向 加 入 实 验 室 视 觉 组• 联 系 方 式 ( 邮 箱 ):chk0105 校 内 /gmail 均 可

参 考 资 料• 善 用 搜 索 ! http://www.google.com/• 计 算 机 视 觉 : 一 种 现 代 方 法 - Computer Vision - AModern Approach• OpenCV: http://opencv.org/• PCL: http://pointclouds.org/