基于手机的增强现实
基于手机的增强现实
基于手机的增强现实
Create successful ePaper yourself
Turn your PDF publications into a flip-book with our unique Google optimized e-Paper software.
<strong>基于手机的增强现实</strong><br />
学生:雷 娟
报告内容包括:<br />
1.增强现实的研究意义<br />
2.移动增强现实的研究现状、研究方法<br />
3.现阶段所做工作及下一阶段研究计划
1. 什么是AR?<br />
增强现实(Augmented Reality)是将现实世界和计<br />
算机生成的信息融合在一起的技术,这些信息可以<br />
是图像,文字和三维模型等等。<br />
2.AR系统框架
增强现实的三个特性:<br />
(1)虚实结合<br />
(2)实时交互<br />
(3)显示设备位姿确定(registration)<br />
移动增强现实关键技术:<br />
移动增强现实系统应实时跟踪手机在真实场景中的<br />
位置及姿态,并根据这些信息计算出虚拟物体在摄像机<br />
中的坐标,实现虚拟物体画面与真实场景画面精准匹配,<br />
即registration(即手机的空间位置和姿态)的性能是<br />
增强现实的关键。<br />
应用前景:<br />
校园、博物馆导游,购物指南,工程设计和室内的<br />
装修设计等等。
移动增强现实(Mobile Augmented Reality ,简称<br />
MAR)目标是将增强现实技术有效地应用于移动设备<br />
终端,拓展增强现实技术的应用领域。<br />
移动增强现实(MAR)的性能指标:<br />
(1)跟踪目标位置的正确性<br />
(2)响应时间<br />
(3)鲁棒性<br />
(4)跟踪范围等
2、研究现状<br />
移动增强现实(MAR)研究主要是两类方法:<br />
1.基于硬件传感器的方法<br />
常见的有磁场、声学、光学、惯性等四类传感<br />
器跟踪技术。<br />
2.基于视觉的方法<br />
2.1 基于marker的方法<br />
2.2 基于自然特征的方法
一.基于传感器的增强现实方法<br />
以惯性传感器(电子指南针)跟踪为例:<br />
采用这种方式的增强现实应用,手机是最为合适的<br />
实现平台。因为实现简单,目前智能手机上GPS、摄像头<br />
和指南针的搭配已经可以初步实现增强现实——将镜头<br />
对准餐馆,关于这个餐馆的评价会浮现在画面之上,例<br />
如: Layer 、 Wiketude等。<br />
但是存在GPS精度问题,电子指南针易受周边设备<br />
(铁磁器等)的影响,无线互联网的传输速率等的限制,<br />
目前还没有产生稳定的实际应用。
必须装置:<br />
摄像头、显示屏、GPS、电子指南针<br />
原理:<br />
1)通过GPS取得纬度、经度和高度信息,通过电子指南针取<br />
得面向的方向,确定MAR搜索的范围;<br />
2)指定搜索内容,发送搜索范围的数据;<br />
3)通过无线互联,将从网络获取的信息叠加在显示屏上。
在手机上实现GPS + Sensor方式的原理图
二.基于视觉的增强现实方法<br />
原理<br />
基于视觉的跟踪技术不需要额外的硬件设备,<br />
通过在视频图像对检测到的特征进行分析,得到空<br />
间点和图像点的对应关系,计算相机的位置和姿态。<br />
分为两大类方法:<br />
基于标记的增强现实<br />
基于自然特征的增强现实
基于人工标记的方法:<br />
在真实场景中放置标识作为跟踪基准,通过对含<br />
有标识的图像进行处理,得到空间点与图像点之间的<br />
对应关系,计算相机位姿,实现相机跟踪。<br />
读取视频,进行边缘<br />
检测,检测得到四边<br />
形,内部区域进行归<br />
一化,从标识数据库<br />
中进行检索,获取标<br />
识的空间信息。<br />
基于人工标记的方法目前应用比较多的是采用ARtoolkit工具包,计算位姿<br />
的方法有多种,其中文献[1]中采用的方法与张正友的平面标定法类似
[1] 董子龙,章国锋等,基于汉字标志的增强现实系统<br />
这是文献[1]计算R,T的方法,<br />
通过单应性矩阵得到的摄像<br />
机外参只是一个估计值,往<br />
往不够精确,且很容易受到<br />
噪声的影响,不同的方法在<br />
进行R,T的优化上不同(利<br />
用优化标识角点在图像平面<br />
上的重投影误差),抑制噪<br />
声带来的影响,得到准确的<br />
外参,使得合成的虚拟物体<br />
能够保持平稳而不发生漂移<br />
或抖动。
基于自然特征的跟踪方法<br />
基于标识的跟踪技术的实现依赖于放置在真实场景<br />
中的标志物,在很大程度上限制了增强现实的应用。<br />
基于标识的跟踪技术只适合小范围的AR应用,而基<br />
于自然特征的跟踪技术可以适用户外等大范围的应<br />
用,且与基于marker的跟踪相比,在光照变化比较<br />
大和遮挡情况下更鲁棒。
基本原理与基于标识的跟踪技术类似,不过这里采用自然特<br />
征而不是人工marker,例如sift、harris等。<br />
传统AR是在平面物体上叠加虚拟信息,例如Daniel Wagner等<br />
的“Pose Tracking from Natural Features on Mobile<br />
Phones”(ISMAR2008);<br />
未来AR的研究方向应为三维场景下虚拟信息的叠加,其中较<br />
有代表性的方法是Georg Klein等的“Parallel Tracking<br />
and Mapping on a Camera Phone”(ISMAR2009)。
Pose Tracking from Natural Features on Mobile<br />
Phones<br />
这篇文章[2]第一个实现只使用手机内置相机的实时(帧<br />
率为20Hz)自然特征跟踪系统,得到相机的姿态(6DOF)。<br />
文中使用的是有纹理的平面物体提取简化的sift和<br />
ferns特征。<br />
[2] Daniel Wagner ,Pose Tracking from Natural Features on<br />
Mobile Phones
系统流程:<br />
视频<br />
初始化:<br />
相机正对着平面物体,在参考帧<br />
的初始跟踪区域内提取特征点,将这<br />
些特征点反投影到Z=z平面上(摄像机<br />
坐标系下),可以得到特征点的空间<br />
位置;<br />
运行时:<br />
首先在新帧中提取特征点并描述,<br />
根据前一帧相机的位姿和运动模型,<br />
得到当前帧相机的位姿估计,得到参<br />
考帧中的特征点在新帧中粗略的位置;<br />
匹配的候选点在以该位置为中心某个<br />
半径范围内的所有特征点,将这些候<br />
选特征点与参考帧中的特征点进行匹<br />
配,计算新的位姿。
Parallel Tracking and Mapping for Small AR<br />
workspaces<br />
是解决SLAM(同步制图与定位)提出的一种方法。<br />
它将SLAM分成跟踪(tracking)和地图(mapping)建立两个并<br />
行结构,即将原有问题分解为structure from motion和<br />
motion from structure两个问题,跟踪的任务是在给定的<br />
地图中估计相机的位置,制图的任务是利用跟踪得到的位置<br />
将图像上的特征点三角化得到空间坐标,同时利用bundle<br />
adjustment对地图进行整体优化,进而得到空间点和相机位<br />
置的最优估计。<br />
[3] Georg Klein等. Parallel Tracking and Mapping for Small AR<br />
Workspaces
将PTAM移植到手机上所做的简化工作<br />
使用较少的地图特征点<br />
修改跟踪的具体操作<br />
去除冗余的关键帧<br />
采用更灵活的地图初始化方法<br />
视频<br />
[4] Georg Klein 等. Parallel Tracking and Mapping on a Camera Phone
基于SERVER-CLIENT架构的增强现实研究<br />
前述方法主要是集中在手机端的工作,为减轻手机端计<br />
算负担,目前存在基于server-client的计算模式,将部<br />
分计算工作放在服务器端,通过无线互联网将计算结果<br />
返回,在手机端进行增强现实效果的显示。
以文献[5]中的方法为例,介绍server-client架构的<br />
增强现实方法。<br />
原理:<br />
在手机端,进行初始识别后,通过有效地运动估<br />
计(根据相邻帧之前图像像素位置移动的多少来判断)<br />
决定是否需要发送新的检索数据给服务器;在服务器<br />
端,从上传的检索帧中提取局部特征(SURF),通过<br />
k-d树的方法在图像数据库中找到匹配数据。<br />
视频:实时识别和跟踪书和CD的封面<br />
[5 ] David M.chen 等 ”Streaming Mobile Augmented Reality on Mobile<br />
Phones”ISMAR(2009)
前一阶段所做工作<br />
手机上的跟踪与分割<br />
视频<br />
方法流程:<br />
摄像机获取的图像<br />
确定初始跟踪区域,<br />
特征点检测<br />
特征点描述及匹配,计<br />
算相似变换,在后续每<br />
一帧中确定跟踪区域<br />
存在的问题:鲁棒性(光照、<br />
快速运动),漂移等。
实验平台:N900<br />
性能参数:<br />
CPU: 600Hz<br />
内存:RAM 256MB<br />
ROM 768MB<br />
操作系统:Maemo 5<br />
开发工具:Nokia for Qt<br />
是一个跨平台的开发工具,可以适用不同手机操作系<br />
统,关注的是算法层面
需要解决问题:<br />
(1)考虑到手机计算能力、内存、电源消耗等,手机上如何获<br />
得实时( 在移动手机的过程中不因跟踪不及时导致虚拟物<br />
体的显示有延迟)、鲁棒(能够应对摄像机各种比较随意的<br />
运动和跟踪失败时及时恢复)、稳定、准确的跟踪<br />
(2)一般跟踪遇到的问题:<br />
光照变化、物体的快速运动、物体和场景的外观变化等等<br />
(3)数据传输速率,网络延迟等等
Thanks for listening