全景影像测量原理及其应用

 摘 要
全景影像被广泛应用于类似Google街景以及Bing街景的基于影像的渲染以及虚拟环境。随着全景相机技术的发展，全景影像的成像分辨率和成像质量不断提高，以基本可以满足大比例尺测图或数字城市建模的要求，同时遍布全球的具有精确位置信息的全景影像网络可以提供其他数据源作为时空基准。利用街景车获取的序列街景影像的定位定姿往往通过平台搭载的GPS/IMU系统对其进行定位测姿，其精度通常只能满足渲染的需求，不能满足精确建模、测图及增强现实的要求。目前基于网络的散乱影像的自动定向与重建技术日趋成熟，并被广泛应用于图像渲染与场景重建，取得了骄人的成果。在目前拥有全球众多序列全景影像的情况下，依然缺乏能够有效对这些数据进行处理的理论与应用平台。
全景影像的自动定向主要面临三个问题，首先是全景影像的成像模型，其次是全景影像的射影几何，最后是全景影像自动定向流程。本文在研究了鱼眼相机、折反射式全景相机、线扫描全景相机、多传感集成的全景相机成像模型的基础上，抛弃了传统基于像点的成像模型，采用一种基于光线的通用模型描述相机成像过程，可以囊括所有单中心投影相机。对于已标定的单中心投影相机，在恢复像点对应光线后即可采用该模型进行处理。在基于光线的成像模型之基础上，本文采用计算机视觉中常用的本质矩阵对同名光线的共面关系进行描述，同时研究了全景影像中核线的形式以及核线影像的生成方法。针对全景影像畸变大的特点，本文采用具有优良仿射不变特性的SIFT特征进行同名点匹配，并采用目前被广泛应用于散乱影像的SfM算法对全景影像进行自动相对定向。同时，考虑到目前常见的全景影像通常为序列影像，具有类似视频的序列化特点，本文尝试采用基于卡尔曼滤波的SLAM对其进行自动定向，在滤波算法普遍存在漂移的情况下，本文在滤波过程中加入控制点，在一定程度上减弱了漂移。

关键词： 全景影像，成像模型，匹配，极线几何，核线影像，自动定向，SfM，SLAM
目 录
摘 要 I
Abstract II
第一章 绪 论 1
§1.1 研究背景 1
§1.2 国内外研究现状与发展趋势 4
§1.3 本文的主要研究内容 9
第二章 全景影像及其成像原理 11
§2.1全景影像的历史 11
§2.2 全景影像获取 14
§2.3 全景影像成像模型 15
第三章 全景影像的极线几何 25
§3.1 全景影像同名像点自动获取 25
§3.2全景影像极线几何 30
§3.3全景影像核线与核线影像 35
第四章 全景影像的自动定向及稀疏重建 41
§4.1 基于卡尔曼滤波的SLAM 42
§4.2由运动估计结构（SfM） 47
§4.3全景影像光束法平差模型 49
§4.4 实验结果 51
第五章 精确定位全景影像的应用 55
§5.1基于全景影像的渲染 55
§5.2 基于全景影像的建模及测图 58
第六章 总结与展望 61
参考文献 63
致谢 69

12Debevec[82]于1996年完成的Façade软件采用了一种基于线特征以及各类预定义实体模型的层次性影像建模方法，并提出了一种视角相关的纹理映射方法。Youichi Horry 等[83]基于单灭点假设，提出利用几何结构信息进行场景三维重建的“Tour Into the Picture（TIP）”技术。与此同时，英国牛津大学机器人实验室视觉几何研究组的Antonio Criminisi开始了一系列的单像量测[84,85,86]的相关研究，并于2000 年正式提出所谓单像量测（SVM，Single View Metrology ）的概念[87,88]。所谓单像量测，意指通过单张影像上的几何信息（尤其是灭点、灭线等）进行测量。以此为基础，该实验室的David Liebowitz进行了一系列单、多像三维重建方面的研究[89,90,91]。Peter F. Sturm[92]、Marta Wilczkowiak[93]、Etienne G. Grossmann[94]对基于几何约束的方法进行了一系列扩展。Heuvel等[95]采用点云与影像相结合的方法进行几何重建，利用影像提供场景的拓扑信息，利用由多幅影像重建出来的点云提供位置信息，建立场景的三角网格模型，一定程度上提高了重建精度。Sinha等[96]同样采用了影像与重建点云相结合的方法，不同之处在于Sinha同时采用直线等约束增强了其交互能力以及对场景的约束能力。Gaspar[97]提出了一种基于折反射式全景影像的交互式常见方法，Hwang[98]在利用直线段对全方位相机的同时提出了一种直线段重建方法。Micusik提出了一种专门针对全方位影像的度量重建方法[99]，以及基于极线几何的自标定与三维重建方法[100]，并研究了利用序列街景影像建立城市分段平面模型的方法[101]。在此期间出现了众多基于影像的建模工具，其中较为著名的包括PhotoModeler、Videotrace、Imagemodel等。随着全景成像技术的不断发展，全景影像不断提高，已基本可以满足测量需求，AutoDesk公司的ImageModeler软件在推出基于普通影像的建模工具后，于2009年又推出基于全景影像的建模工具。
随着全景相机集成技术的不断提高，成像分辨率的不断提升，一些专业的移动测量系统，如Topcon IP-S也开始搭载全景相机作为一种影像传感器，并产生了一系列基于移动测量系统多源数据融合的研究。在借鉴普通影像与点云等多源遥感数据融合的基础上，Atsuhiko和Ikeuch[102]以及Scheibe等[103]将全景影像的纹理信息与点云数据的几何信息进行融合用于数据渲染，Haala等[104]则将全景影像提供的光度信息与点云数据结合用于森林调查以及树木分类。国内科研院所更抓住了基于全景影像进行大比例尺测图的先机，开发了一些利用全景影像进行部件测量的原型系统，但是由于缺乏精确的姿态信息，并不能完成基本的测图任务，依然处于实验阶段。
§1.3 本文的主要研究内容
本文以旨在建立统一的全景影像成像模型，并在该模型的基础上研究全景影像的极线几何原理，并对序列全景影像进行自动定向与重建。本文的具体结构如下：
第一章： 对基于全景影像的研究和应用背景做了简要说明，并总结了全景相机成像模型、全景相机极线几何以及基于影像的自动定向与重建技术做了简要介绍；
第二章： 介绍了全景影像的历史、全景影像的获取方法，建立了统一的基于摄影光束的成像模型，并对典型全景影像的成像过程进行说明；
第三章： 研究全景影像的同名点匹配方法，建立全景影像的极线几何模型，介绍了一种相对定向方法。研究了全景影像的核线形式，推导了相应的核线重采样方法；
第四章：建立基于全景影像的光束法平差模型，将基于扩展卡尔曼滤波的SLAM算法以及基于散乱影像的SfM算法应用于序列全景影像；
第五章：介绍全景影像应用主要领域及其应用前景。
第六章：对全文进行总结。