基于手机的增强现实

基于手机的增强现实
学生:雷 娟

报告内容包括:
1.增强现实的研究意义
2.移动增强现实的研究现状、研究方法
3.现阶段所做工作及下一阶段研究计划

1. 什么是AR?
增强现实(Augmented Reality)是将现实世界和计
算机生成的信息融合在一起的技术,这些信息可以
是图像,文字和三维模型等等。
2.AR系统框架

增强现实的三个特性:
(1)虚实结合
(2)实时交互
(3)显示设备位姿确定(registration)
移动增强现实关键技术:
移动增强现实系统应实时跟踪手机在真实场景中的
位置及姿态,并根据这些信息计算出虚拟物体在摄像机
中的坐标,实现虚拟物体画面与真实场景画面精准匹配,
即registration(即手机的空间位置和姿态)的性能是
增强现实的关键。
应用前景:
校园、博物馆导游,购物指南,工程设计和室内的
装修设计等等。

移动增强现实(Mobile Augmented Reality ,简称
MAR)目标是将增强现实技术有效地应用于移动设备
终端,拓展增强现实技术的应用领域。
移动增强现实(MAR)的性能指标:
(1)跟踪目标位置的正确性
(2)响应时间
(3)鲁棒性
(4)跟踪范围等

2、研究现状
移动增强现实(MAR)研究主要是两类方法:
1.基于硬件传感器的方法
常见的有磁场、声学、光学、惯性等四类传感
器跟踪技术。
2.基于视觉的方法
2.1 基于marker的方法
2.2 基于自然特征的方法

一.基于传感器的增强现实方法
以惯性传感器(电子指南针)跟踪为例:
采用这种方式的增强现实应用,手机是最为合适的
实现平台。因为实现简单,目前智能手机上GPS、摄像头
和指南针的搭配已经可以初步实现增强现实——将镜头
对准餐馆,关于这个餐馆的评价会浮现在画面之上,例
如: Layer 、 Wiketude等。
但是存在GPS精度问题,电子指南针易受周边设备
(铁磁器等)的影响,无线互联网的传输速率等的限制,
目前还没有产生稳定的实际应用。

必须装置:
摄像头、显示屏、GPS、电子指南针
原理:
1)通过GPS取得纬度、经度和高度信息,通过电子指南针取
得面向的方向,确定MAR搜索的范围;
2)指定搜索内容,发送搜索范围的数据;
3)通过无线互联,将从网络获取的信息叠加在显示屏上。

在手机上实现GPS + Sensor方式的原理图

二.基于视觉的增强现实方法
原理
基于视觉的跟踪技术不需要额外的硬件设备,
通过在视频图像对检测到的特征进行分析,得到空
间点和图像点的对应关系,计算相机的位置和姿态。
分为两大类方法:
基于标记的增强现实
基于自然特征的增强现实

基于人工标记的方法:
在真实场景中放置标识作为跟踪基准,通过对含
有标识的图像进行处理,得到空间点与图像点之间的
对应关系,计算相机位姿,实现相机跟踪。
读取视频,进行边缘
检测,检测得到四边
形,内部区域进行归
一化,从标识数据库
中进行检索,获取标
识的空间信息。
基于人工标记的方法目前应用比较多的是采用ARtoolkit工具包,计算位姿
的方法有多种,其中文献[1]中采用的方法与张正友的平面标定法类似

[1] 董子龙,章国锋等,基于汉字标志的增强现实系统
这是文献[1]计算R,T的方法,
通过单应性矩阵得到的摄像
机外参只是一个估计值,往
往不够精确,且很容易受到
噪声的影响,不同的方法在
进行R,T的优化上不同(利
用优化标识角点在图像平面
上的重投影误差),抑制噪
声带来的影响,得到准确的
外参,使得合成的虚拟物体
能够保持平稳而不发生漂移
或抖动。

基于自然特征的跟踪方法
基于标识的跟踪技术的实现依赖于放置在真实场景
中的标志物,在很大程度上限制了增强现实的应用。
基于标识的跟踪技术只适合小范围的AR应用,而基
于自然特征的跟踪技术可以适用户外等大范围的应
用,且与基于marker的跟踪相比,在光照变化比较
大和遮挡情况下更鲁棒。

基本原理与基于标识的跟踪技术类似,不过这里采用自然特
征而不是人工marker,例如sift、harris等。
传统AR是在平面物体上叠加虚拟信息,例如Daniel Wagner等
的“Pose Tracking from Natural Features on Mobile
Phones”(ISMAR2008);
未来AR的研究方向应为三维场景下虚拟信息的叠加,其中较
有代表性的方法是Georg Klein等的“Parallel Tracking
and Mapping on a Camera Phone”(ISMAR2009)。

Pose Tracking from Natural Features on Mobile
Phones
这篇文章[2]第一个实现只使用手机内置相机的实时(帧
率为20Hz)自然特征跟踪系统,得到相机的姿态(6DOF)。
文中使用的是有纹理的平面物体提取简化的sift和
ferns特征。
[2] Daniel Wagner ,Pose Tracking from Natural Features on
Mobile Phones

系统流程:
视频
初始化:
相机正对着平面物体,在参考帧
的初始跟踪区域内提取特征点,将这
些特征点反投影到Z=z平面上(摄像机
坐标系下),可以得到特征点的空间
位置;
运行时:
首先在新帧中提取特征点并描述,
根据前一帧相机的位姿和运动模型,
得到当前帧相机的位姿估计,得到参
考帧中的特征点在新帧中粗略的位置;
匹配的候选点在以该位置为中心某个
半径范围内的所有特征点,将这些候
选特征点与参考帧中的特征点进行匹
配,计算新的位姿。

Parallel Tracking and Mapping for Small AR
workspaces
是解决SLAM(同步制图与定位)提出的一种方法。
它将SLAM分成跟踪(tracking)和地图(mapping)建立两个并
行结构,即将原有问题分解为structure from motion和
motion from structure两个问题,跟踪的任务是在给定的
地图中估计相机的位置,制图的任务是利用跟踪得到的位置
将图像上的特征点三角化得到空间坐标,同时利用bundle
adjustment对地图进行整体优化,进而得到空间点和相机位
置的最优估计。
[3] Georg Klein等. Parallel Tracking and Mapping for Small AR
Workspaces

将PTAM移植到手机上所做的简化工作
使用较少的地图特征点
修改跟踪的具体操作
去除冗余的关键帧
采用更灵活的地图初始化方法
视频
[4] Georg Klein 等. Parallel Tracking and Mapping on a Camera Phone

基于SERVER-CLIENT架构的增强现实研究
前述方法主要是集中在手机端的工作,为减轻手机端计
算负担,目前存在基于server-client的计算模式,将部
分计算工作放在服务器端,通过无线互联网将计算结果
返回,在手机端进行增强现实效果的显示。

以文献[5]中的方法为例,介绍server-client架构的
增强现实方法。
原理:
在手机端,进行初始识别后,通过有效地运动估
计(根据相邻帧之前图像像素位置移动的多少来判断)
决定是否需要发送新的检索数据给服务器;在服务器
端,从上传的检索帧中提取局部特征(SURF),通过
k-d树的方法在图像数据库中找到匹配数据。
视频:实时识别和跟踪书和CD的封面
[5 ] David M.chen 等 ”Streaming Mobile Augmented Reality on Mobile
Phones”ISMAR(2009)

前一阶段所做工作
手机上的跟踪与分割
视频
方法流程:
摄像机获取的图像
确定初始跟踪区域,
特征点检测
特征点描述及匹配,计
算相似变换,在后续每
一帧中确定跟踪区域
存在的问题:鲁棒性(光照、
快速运动),漂移等。

实验平台:N900
性能参数:
CPU: 600Hz
内存:RAM 256MB
ROM 768MB
操作系统:Maemo 5
开发工具:Nokia for Qt
是一个跨平台的开发工具,可以适用不同手机操作系
统,关注的是算法层面

需要解决问题:
(1)考虑到手机计算能力、内存、电源消耗等,手机上如何获
得实时( 在移动手机的过程中不因跟踪不及时导致虚拟物
体的显示有延迟)、鲁棒(能够应对摄像机各种比较随意的
运动和跟踪失败时及时恢复)、稳定、准确的跟踪
(2)一般跟踪遇到的问题:
光照变化、物体的快速运动、物体和场景的外观变化等等
(3)数据传输速率,网络延迟等等

Thanks for listening