基于无标志物的虚拟家居布置系统设计

 增强现实技术能够将虚拟信息与真实场景相融合，给人以身临其境的感受。在家居装修领域，利用增强现实技术可以将实体家具转换为模型，透过屏幕就可以完成对家具的摆放。这种方式提高了家居装修的效率，使用户感受到真实的家居布置过程。
目前市面上针对家居布置的增强现实应用还比较少，一般都是由家具公司推出的体验类应用，都存在着融合程度不高，稳定性差的问题。跟踪注册算法作为增强现实技术的核心，决定了最终的虚实融合效果。常用的跟踪注册算法耗时较高并且在移动过程中会因图像模糊而导致准确率下降。基于此，本文对跟踪注册算法进行研究，将改进后的算法应用在增强现实系统中，设计并实现了基于无标志物的虚拟家居布置系统。
首先，本文调研了增强现实技术的国内外发展现状，并对其应用领域进行了分析。通过分析各类跟踪注册方法，并结合家居布置这一应用场景，设计出系统总体方案。根据需求将系统分为三层，包括用户层，业务逻辑层以及网络层。将增强现实中关键的跟踪匹配模块和虚实融合模块放在业务逻辑层处理。
然后，本文对跟踪注册算法进行分析与研究。为了解决建立线性尺度空间时图像边缘信息丢失的问题，本文对 KAZE 算法进行了分析。通过对算法的改进，解决了算法运算复杂和耗时较高的问题。同时针对移动设备进行了相应的优化以提高软件的运行效率。通过对摄像机姿态计算方法的研究实现了虚拟信息与真实场景的准确融合。
最后，对系统各部分进行设计与实现。对平台搭建作了具体的介绍，对各功能模块进行了详细的设计与实现，包括跟踪匹配模块，虚实融合模块，用户管理模块，社区分享模块，交互通信模块和数据存储模块。为了验证家居布置系统的性能，设计合理的测试方案并对系统进行测试和分析。测试结果表明，本文所做工作满足预期要求。

关键词：增强现实，KAZE，跟踪注册算法，家居布置

I

目录

摘要 I
Abstract III
目录 V
图录 IX
表录 XIII
注释表 XV
第 1 章 绪论 1
1.1课题研究的背景和意义 1
1.2增强现实的应用领域及国内外发展现状 2
1.2.1增强现实应用领域 2
1.2.2国内外发展现状 5
1.3本课题研究内容 7
1.4论文组织结构 8
第 2 章 系统总体设计方案 9
2.1系统需求分析 9
2.1.1增强现实关键问题分析 9
2.1.2系统功能需求分析 10
2.1.3系统性能需求分析 12
2.3系统总体设计方案 13
2.3.1系统拓扑结构设计 13
2.3.2系统软件总体结构设计 14
2.3.3系统软件总体数据流程 16
2.4开发工具的分析与选择 17
2.4.1移动操作系统 17
2.4.2图像处理库 17
2.4.2 3D 渲染引擎 18
2.5本章小结 19
第 3 章 家居布置系统跟踪注册算法研究 21
3.1基于视觉的跟踪注册方法 21
3.1.1基于人工标识的跟踪注册方法 21
3.1.2基于无标志物的跟踪注册方法 22
3.2改进的 KAZE 的跟踪匹配算法 24
3.2.1KAZE 特征检测算法分析 24
3.2.2KAZE 算法的改进 28
3.2.3算法改进前后性能对比 34
3.3针对移动端的算法优化 37
3.4摄像机姿态定位及计算 39
3.5本章小结 41
第 4 章 系统的详细设计与实现 43
4.1系统总体设计 43
4.2Android 平台搭建 44
4.2.1搭建 NDK 编译环境 44
4.2.2原图像格式处理 44
4.3跟踪匹配模块设计 45
4.3.1自然特征点类结构设计 46
4.3.2移动端跟踪匹配 47
4.4虚实融合模块 49
4.4.1模型导入 50
4.4.2模型动态加载 51
4.4.3模型交互 52
4.5家具布置软件的设计与实现 54
4.5.1增强现实效果 54
4.5.2用户管理 57
4.5.3社区分享 58
4.6交互通信模块 59
4.7数据存储模块 60
4.7.1数据库的总体设计 61
4.7.2数据库操作 62
4.8本章小结 63
第 5 章 系统测试与结果分析 65
5.1测试方案分析与选择 65
5.1.1测试方法选择 65
5.1.2测试流程设计 66
5.2测试环境搭建 66
5.3功能测试 67
5.3.1家具模型加载 67
5.3.2模型交互 69
5.3.3用户管理模块 70
5.3.4社区分享模块 73
5.4性能测试 74
5.4.1跟踪注册效果测试 74
5.4.2模型摆放效果测试 77
5.4.2 系统流畅度测试 79
5.5本章小结 81
第 6 章 总结与展望 83
6.1全文总结 83
6.2问题与展望 84
参考文献 85
致谢 89
攻读硕士学位期间从事的科研工作及取得的成果 91

第 1 章 绪论

1.1课题研究的背景和意义

良好的家居环境很大程度上能够提高人们的生活品质，家具布置作为家居环境中的重要部分，越来越受到人们的关注。随着生活水平的提高，人们在家居装修过程中更加注重体验感和参与感。传统的装修设计图只能反映家具在房间内的平面位置，难以呈现真实的家居环境。家居装修需要借助新技术来实现人与环境的实时交互。
增强现实[1]技术将虚拟世界与真实世界融合在一起，并将融合后的信息通过显示设备呈现给使用者。人们可以利用增强现实技术在周围环境中看到现实生活中不存在的景象，感受更加丰富的视觉效果。增强现实技术具有良好的应用前景，在许多领域都有成熟的商业应用，在家居装修中也发挥着越来越重要的作用。
随着生活水平的提高，人们越来越关注家居装修的效果[1]。在家居装修过程中，用户除了对整体装修风格有要求之外，也十分在意家具的摆放位置。良好的家居布置会增加房间的美感，反之，只会破坏整体布局。在传统家居装修过程中，通常是通过图纸的方式来呈现整体布局，家具的摆放位置也只能通过查看图纸的方式做一个大概的判断。这样当真实家具的位置出现偏差或者家具与整体装修风格不一致时，就需要重新购买家具或者忍受不理想的装修效果。
将增强现实技术与虚拟家居布置结合起来，可以有效的解决传统家居装修过程中家具位置不明确的问题。在装修过程中，用户无需实际测量房间和家具的尺寸。通过观察增强出来的虚拟家具，就可以判断家具与房间环境是否匹配，家具样式与装修风格是否一致。这种方式极大地提高了家居装修中的效率，同时提高了用户的体验感。

1.2增强现实的应用领域及国内外发展现状

1.2.1增强现实应用领域

增强现实技术的快速发展催生出了一大批应用，在商业、教育、娱乐、医疗等各个领域都能看到增强现实的身影。增强现实改变了人们获取信息的方式，从被动接受变为主从参与。不管是日常生活还是工作学习，人们都能感受到增强现实技术给生活带来的高效性和便捷性。
1.AR 广告
增强现实技术在广告行业中的应用最为广泛，传统广告都是通过电视，广播等方式来宣传自己的产品，AR 广告则可以将各类信息生动地呈现给用户，提高用户的兴趣从而吸引用户购买。图 1.1(a)为 AR 牙刷广告，当用户将手机前置摄像头对准自己时，在屏幕上就会出现手拿该品牌牙刷刷牙的画面。图 1.1(b)为奔驰汽车的
AR 宣传广告，这种广告不同于车展需要开阔的场地，使用者只需要利用手机或平板设备扫描特制的广告图片，就可以看到逼真的汽车模型，通过移动汽车看到车身的各个部分。AR 广告可以展示更多的产品细节，提供更加丰富的内容来吸引消费。


(a)AR 牙刷广告 (b)AR 汽车广告
图 1.1 AR 广告图

2.AR 教育
AR 教育把传统课堂变得生动有趣，可以将抽象、晦涩难懂的知识转化为直观的声音、模型、动画或者视频来提高孩子的学习热情，在针对幼儿教育时，更能发

挥其优势。目前市面上针对幼儿教育的增强现实应用有很多，都取得了不错的效果。图 1.2 为 AR 教育的典型应用，分别是 AR 涂色和 AR 识字。在对幼儿进行传统教育时，幼儿由于活泼好动很难将集中注意力到书本上。AR 教育可以将知识转化为游戏，帮助幼儿提高学习效率，让孩子在玩耍中学会知识。

(a)AR 涂涂乐 (b)AR 识字
图 1.2 AR 教育

3.AR 游戏
AR 游戏由于将真实场景融入到虚拟世界中，与传统游戏相比，具有独特的魅力。图 1.3(a)是 2016 年火遍全球的游戏 Pokemon go，该游戏基于 LBS[3],玩家需要去往不同的地方才能捕捉各类宠物。图 1.3(b)是我们熟悉的支付宝扫福活动，他主要是通过识别带有“福”字的图像，根据其特征信息进行识别，识别成功后就有机会收集到想要的福卡。


(a)Pokemon go (b)支付宝扫福
图 1.3 AR 游戏

4.AR 医疗
在医疗领域中，当病人出现肉眼观测不到的伤口时，就需要超声波、核磁共振

等扫描工具对病人进行扫描，以获得病人的三维影像数据。这些设备仪器或多或少都会对病人的身体有影响。利用增强现实技术可以在不使用传感器的情况下显示出病人身体内部的受伤状况，将信息直观的展示出来。便于医生给出最佳的医疗解决方案[4]。图 1.4(a)中，手臂虚拟骨骼和肌肉叠加在病人实体上，图 1.4(b)中，虚拟内脏叠加在病人实体上，医生通过观察这些虚拟模型就可以清楚地了解病人受伤状况。

(a)手臂 (b)内脏
图 1.4 AR 医疗

5.AR 导航及生活服务
AR 技术在也可以用在导航方面领域，为用户提供更加丰富的信息。像百度地图，高德地图等应用都提供了 AR 导航服务。如图 1.5(a)所示，AR 导航可以将增强信息实时叠加在屏幕上，为用户指引正确方向。图 1.5(b)展示了 AR 技术在生活服务中的应用，通过扫描室外环境，可以在屏幕上叠加周围商家信息和景点信息，为用户出行提供便利。

(a)AR 导航 (b)AR 生活服务
图 1.5 AR 导航及生活服务

1.2.2国内外发展现状

国外对增强现实的研究比较早并且取得了比较多的成果。早在 1968 年，Ivan
Sutheland 教授就研制出了第一台增强现实设备[5]，该设备能够通过显示器同时观看到计算机图像和真实世界，实现了虚拟与现实的融合，这也是增强现实设备的雏形。随后，增强现实技术一直都处于较低的发展速度，直到 1992 年，才首次提出了“增强现实”概念[6]。1996 年，出现了第一款基于视觉跟踪的增强现实系统。该系统摆脱了笨重的显示和定位设备，利用人工标识物完成虚拟信息的融合[7]，如图 1.6所示。标识物是一种带有二维矩形图像的方形板，用于虚实场景融合的真实物体，计算机通过识别特定的二维图像就能确定虚拟数字信息，通过算法分析计算出标识物在空间内的位置，在目标位置完成虚实融合。
图 1.6 增强现实标识图

随着应用范围的不断扩大，增强现实需要面对更加复杂的场景，在各种条件下对场景进行识别。为了提高增强现实的灵活性和实用性，帝国理工大学的 Davision博士在 2003 年提出了基于单目视觉的实时同步定位和地图构建（SLAM）研究[8]。
SLAM 通过对每一帧图像特征提取，将提取到的特征点进行跟踪。同时在后台绘制地图信息，实现系统的自主定位。在此研究基础上，剑桥大学的 Klein 和 Murray提出了 PTAM 算法[9]，该算法使用了定位与绘图并行的思想并对 SLAM 算法加以改进。PTAM 算法在室内小范围场景内对相机的定位效果比SLAM 算法更加精确，跟踪效果如图 1.7(a)所示。PTAM 算法虽然提高了室内定位的精度，但是在移动过程场景渐变的情况下会失效。为了解决上述问题，Newcombe 和 Davison 提出了
DTAM 算法[10]，该算法不使用特征匹配的方式进行跟踪，而是选用大量窄基线图像进行逐点计算逆向深度的方法对物体进行跟踪，对移动场景的跟踪效果更加显著，如图 1.7(b)。

(a)PTAM (b)DTAM
图 1.7 PTAM 算法和DTAM 算法定位效果

尽管国内的增强现实研究起步较晚，近些年来依然取得了较大的突破。国内对于增强现实技术的研究主要在几所知名大学中进行，如清华大学、浙江大学、北京理工大学、电子科技大学、华中科技大学、国防科技大学等高校都在对增强现实的研究中取得了不错的理论和应用成果。北京理工大学的王涌天教授团队利用增强现实技术实现了对圆明园西洋景区的数字重建[11]，如图 1.8，游客在佩戴特殊设备后就可以欣赏到圆明园雄伟壮观的景象。电子科技大学的张超[12]等人实现了基于自然特征的增强现实系统，并将系统运用到儿童教育中，通过识别图书上的图片和文字，就可以观看相应的模型和动画，增加了儿童阅读的乐趣。

图 1.8 圆明园数字重建

增强现实技术的研究热潮吸引了国内各大互联网公司的目光。像百度、腾讯、阿里、360 等互联网公司都投入了大量的精力来对增强现实软件和硬件进行研究，相继推出了各类产品。百度在自己的地图产品中提供了 AR 导航服务，用户在使用地图时，会将自身的位置信息进行上传，后台在获取到用户位置后就可以为用户提供周边的银行、商场等服务信息。阿里旗下的支付宝，淘宝等应用都加入了增强现实技术，便于用户出行和购物。除了这些大的科技公司，很多还在创业阶段的小型公司都在增强现实领域崭露头角，像亮风台推出了 HiAR 开发平台，视辰推出了
EasyAR 开发平台，利用这些开发平台均能开发出很多有价值的增强现实应用。

1.3本课题研究内容

本课题来源于校企合作项目 XXXX 中的一个模块。该模块的目标是制作一款家具布置软件，使用户在进行家居布置时，通过控制虚拟家具模型，就可以看到在室内环境中的摆放效果。本课题主要完成基于无标志物的虚拟家居布置系统的设计和开发工作，结合增强现实技术，开发出一个满足实时性和稳定性的家具布置软件。本课题的研究内容具体如下：
1.研究增强现实技术的应用领域和国内外研究成果，并分析利用增强现实技术进行家居布置的现实需求和意义。
2.完成基于无标志物虚拟家居布置系统的需求分析，结合需求制定系统总体设计方案，并完成开发工具的选型分析。
3.对增强现实技术进行分析。对特征提取检测算法和跟踪注册算法进行研究。对 KAZE 特征提取算法进行重点研究，结合实际需求对算法进行改进。对改进后的算法进行优化，以满足移动设备运行时的性能需求。
4.根据总体方案，完成家居布置系统的各个功能模块的详细设计与实现，完成算法的移植。完成软件部分的功能模块，包括模型渲染，存储管理，模型控制等功能。
5.设计测试方案，搭建测试环境，对基于无标志物的虚拟家居布置系统进行测试与验证，根据测试结果进行分析和总结。

1.4论文组织结构

本文主要研究内容为基于无标志物的虚拟家居布置系统设计与实现，根据内容划分为六章，具体组织结构如下：
第一章：绪论。调研论文的研究背景和意义。介绍了增强现实的应用领域及国内外发展现状，并阐述主要研究内容和章节安排。
第二章：系统的总体方案设计。首先对增强现实技术进行了分析，对其中的关键技术做了介绍。结合增强现实技术设计出满足家居布置系统的增强现实模型。完成对虚拟家居布置系统的功能和性能分析，设计系统的总体架构和软件设计方案。最后完成相关开发平台、开发工具的选型分析。
第三章：系统相关技术和算法研究。基于系统需求分析和方案设计，对相关算法进行研究。首先研究基于视觉的跟踪注册方法，通过分析对比，选择基于无标志物的跟踪注册算法作为系统研究的重点。对 KAZE 算法进行了分析与改进，解决该算法复杂度高，耗时长的问题。最后，研究增强现实过程中摄像机姿态定位及计算，完成增强现实的虚实融合。
第四章：系统的详细设计与实现。结合系统方案设计与相关技术和算法的研究，设计系统的详细流程框图。完成算法的设计与实现并移植到 Android 平台。完成家具模型在 Unity 平台的加载与渲染。完成用户管理、社区分享等各功能模块的设计与实现。
第五章：系统的测试与验证。设计测试方案并搭建测试环境。对家居布置系统各个功能，算法在软件中的运行效果以及系统整体运行效率进行测试，并对测试结果进行分析。
第六章：总结与展望。对本课题所做工作进行总结，并对系统的不足进行总结，对基于无标志物的虚拟家居布置系统的后续研究方向进行了展望。

第 2 章 系统总体设计方案

本章首先提出了增强现实中的关键的三维注册问题，通过对各种跟踪注册方法进行比较，分析了基于视觉跟踪注册方法在家居布置场景中的优势。完成系统的需求分析并提出具体的功能要求和性能指标。最后根据需求分析完成系统总体方案架构的设计，并对开发工具进行选型分析。

2.1系统需求分析

2.1.1增强现实关键问题分析

本文将增强现实技术运用到家居布置场景中，要想获得良好的家居布置效果，必须要解决增强现实中关键的三维注册[13]问题。三维注册也就是物体从现实到虚拟的坐标转换，注册过程一方面需要对目标进行跟踪定位，另一方面需要将虚拟信息投射到目标位置。三维注册技术根据跟踪方式的不同可以分为基于视觉的跟踪注册技术、基于传感器的跟踪注册技术[14]及混合跟踪注册技术。其中基于传感器的跟踪注册技术包括机械跟踪注册、磁场跟踪注册[15]、声学跟踪注册、光学跟踪注册、惯性跟踪注册和 GPS 跟踪注册。各种跟踪注册方法的优缺点如表 2.1 所示。

表 2.1 跟踪注册方法对比
跟踪注册方法 优点 缺点




基于传感器的
跟踪注册
机械 精度高、无延时、不受外界干扰、数据处理时间短 系统较为笨重，不易操作，可工作范围小，摄像头校正困难，初始定位困难
磁场 延迟小、实时性强 容易受其他磁场或者金属物等设备的干扰
声学 注册成本低 ，不受磁场干扰 延迟相对较高，实时性差，易受噪声、遮挡物和气候影响
光学 范围大，精度高 受环境光影响，光学元件价格昂贵，装配繁琐
惯性 实时性强，数据获取迅速、受环境影响较小 只能获取相对位置，匹配精度不高
GPS 效率高，实时性高 精度不高，无法进行室内定位

表 2.1（续）
跟踪注册方法 优点 缺点
基于视觉的跟踪注册 效率高，成本低，适用各种场景 在复杂环境下精度会受影响
混合跟踪注册 精度高，实时性高，效率高，不受环境影响 计算复杂，实施难度大

通过分析上述表格，基于传感器的跟踪注册方法有以下缺点
1.注册时必须结合相关传感器，对硬件设备要求较高，有些注册方式只能运用于特定场景中，不适用于一般的增强现实软件。
2.设备昂贵而且操作复杂，受光线、磁场等环境因素影响较大。其中机械和光学跟踪注册方法需要的设备成本太高，而且在使用前要经过反复调试，每次切换场景就必须重新设置。
惯性和 GPS 跟踪注册方法不存在上述问题，但是惯性跟踪注册方法的匹配精度不高，必须结合其他数据才能实现精准定位。GPS 跟踪注册方法的匹配精度不稳定，会受到环境因素的影响。一般情况下，GPS 跟踪注册方法的误差在 10 米左右，但是在城市这种楼层较多并且人口秘密的区域，其误差能达到 100 米以上。并且 GPS 跟踪注册方法在时间上存在误差，难以满足实时性要求。混合跟踪注册方法由于计算过于复杂，需要结合传感器使用，往往在对精度要求特别高的领域才会使用。
基于视觉的跟踪注册方法只需要摄像头就能完成对目标的定位和后续跟踪，具有成本低，效率高，实用性强的特点，广泛应用于各类增强现实系统中[16]。虽然在某些复杂环境下精度会受影响，但是经过算法的校正可以达到良好的注册效果，在环境较为简单的室内场景有着良好的表现，适用于本系统的家具布置场景。

2.1.2系统功能需求分析

本文家居布置系统运行在室内场景，用户在使用时需要通过摄像头获取房间不同位置的特征信息，匹配跟踪成功之后在场景中叠加虚拟家具模型，进而实现对家具的控制以达到家居布置的效果。用户在操作时需要来回移动才能扫描整个房间，考虑到使用的便捷性，家居布置系统最终会将客户端软件部署到手机终端。移

动端软件的主要功能是在室内对家具模型进行摆放。为了提高用户体验，加入用户管理和社区分享等功能。系统用例如图 2.1 所示，下面将详细介绍每个功能。

图 2.1 系统用例图

室内增强现实部分包括了场景获取、跟踪匹配和虚实融合。场景获取是在软件初始化时，对拍摄的视频图像进行处理，通过扫描场景信息并分析前几帧的图像，选择出特征信息最丰富的图像作为跟踪的目标图像。跟踪匹配功能是使用基于视觉的跟踪注册方法对目标图像进行匹配跟踪，跟踪成功后将结果同步更新。虚实融合就是将需要的模型在目标位置上进行渲染，实现家具模型与室内场景的融合，完成最终的增强现实效果。
用户管理功能是为了实现用户的个性化操作，加入登录注册功能对用户信息进行存储和管理。同时加入密码修改功能便于用户在忘记密码后及时找回。用户管理功能还对存储的布置信息进行管理。用户在离线状态下进行通用的家具布置，登录状态下可以将布置信息上传到服务器存储并且可以将分享列表中的家具模型下载到本地使用。
加入社区分享功能是为了帮助用户查看他人的布置信息和上传自己的布置信

息。用户在完成一次家居布置后，可以将布置内容进行上传并与他人分享。布置内容主要包括家具模型信息和场景截图。上传成功后的布置信息会在社区分享页面中显示，用户可以查看他人的布置内容和使用的模型，选择下载对应的家具模型并导入到 AR 场景中。