基于稀疏采集球面全景图的室内场景智能浏览

Image-based scene navigation has been a popular research topic in the fields of computer graphics and computer vision. The existing techniques suffer from the small field-of-view of standard cameras, need large amounts of images captured at different views, and rarely consider semantic information in image data. In recent years, the development of capturing techniques for 360 degree spherical panoramas and indoor scene understanding techniques makes it possible to smartly navigate scenes with semantic information embedded. To achieve this goal, this project is to investigate scene structure parsing and semantic scene navigation, based on sparsely distributed net-structured spherical panoramas. Specifically, we majorly focus on extraction of spherical feature points of spherical panoramas and fast matching between spherical panoramas; novel views synthesis at free viewpoints given net-structured indoor spherical panoramas; geometric room structure parsing and object recognition; semantic indoor scene visualization and smart navigation. The project will greatly advance the practicality of large field-of-view indoor scene understanding and visualization, and promote indoor scene navigation applications and related services.

基于图像的场景浏览历来是计算机图形学和视觉研究的热点。现有技术受限于标准相机的有限视野，依赖大量不同视角的图像数据，且较少结合图像理解，难以实现场景的语义级浏览。近年来，具有360度视野球面全景图采集技术的成熟以及室内场景理解技术的发展，使得高效智能的语义级场景浏览成为可能。针对这一目标，本项目研究如何充分利用网状稀疏采集的球面全景图数据，进行场景的3D结构解析和语义级智能浏览。具体研究内容包括：球面域全景图鲁棒特征提取、描述与多组球面全景数据的快速匹配；基于球面域成像几何约束和网状稀疏采集室内全景图的自由全景视点合成；基于稀疏室内全景图的场景空间几何结构解析与物体识别；语义级室内场景可视化及智能浏览。本项目研究将大大推动大视角场景理解与可视化技术的实用性，在理论和应用两方面促进室内场景浏览及相关服务向更为人性化、智慧化方向发展。

本项目组围绕基于稀疏采集球面全景图的室内场景智能浏览开展了一系列的研究探索工作，工作重点集中在四个方面：全景图的超像素分割及性能评价；基于稀疏采集全景图的相机位姿估计及自由全景视点合成；动态目标快速鲁棒跟踪及分割；主动相机位姿重现及变化检测等。以下就各项研究工作所取得的重要成果进行简要说明。. 在全景图的超像素分割及性能评价方面，我们提出基于SLIC的超像素生成算法，提出将平面超像素算法拓展至球面的框架模型，并设计高精度的球面超像素分割数据集，对多种拓展算法进行分析评价。我们的工作可用作于全景图像及视频分析等应用的基础。. 在基于稀疏采集全景图的相机位姿估计及自由全景视点合成方面，我们分析球面全景图的对极几何关系，实现了面向球面全景图运动恢复结构方法，提出了基于三个视点的自由视点合成算法，并设计了球面全景图特征提取算法的评估基准，在自行搭建的虚拟场景数据集上进行了测试。. 在动态目标快速鲁棒跟踪及分割方面，我们重点研究了基于相关滤波器的目标跟踪模型，提出了考虑目标内容信息的CSRDCF算法，考虑目标背景信息的BSCF算法，以及基于快速目标正则化方法的FSRCF算法，取得了比现有算法更高的精度和鲁棒性，同时保持了较高的的目标检测速度。 . 在主动相机姿态重现及变化检测方面，基于主动视觉思路，提出了一种手眼标定无关的主动相机六自由度恢复方法，研究了主动光照重新的问题。基于该理论证明，我们的方法能够快速准确地恢复相机位姿，以解决真实赋存环境下的高值目标微变快速检测问题。. 本项目开展的相关工作为大视角场景分析和理解提供了基础算法，提高了动态目标检测的精度和效率，并为真实赋存环境下的高值目标微变快速检测问题提供了可行的解决思路。