基于2D视频视觉关注度的3D重建方法研究

三维重建一直是计算机视觉中极具挑战性的研究问题，视频场景的三维重建不仅具有较高的学术研究价值，而且具有广泛的应用前景。本项目主要研究视频的三维重建问题，试图从人的视觉感知出发，通过对视频内容的语义理解，解决或克服传统三维重建方法中遇到的若干难点问题。具体而言，就是通过在二维视频中检测关注区域或显著区域，在重建过程的各个环节中对这些区域内容的信息给予重点关注，从而使得重构出的三维视频在这些关注区域内的误差相对较小。通过引入关注度，一方面可以重点突出关注的区域从而使得重构从场景层次（scene level）聚集到目标层次(object level)，使重构结果尽可能地满足视觉感知的需求；另一方面也可以通过关注区域缩小重构对象从而减少计算量。本项目的方法是建立在已有解决思路和方法的基础上，借鉴视觉认知和视频语义理解的最新研究成果，为解决视频三维重建问题中的难点问题探索新思路、开拓新方法。

本项目在二维视频序列到三维场景重建问题中引入人类视觉感知机理，解决了传统三维重建方法中存在的一些关键问题。取得的重要创新成果包括：（1）提出了一种基于视觉关注度的方法分割自然场景图像中感兴趣的小目标；（2）提出了一种基于视觉关注度的运动目标检测和轨迹跟踪方法；（3）提出了一种基于视觉关注度的视频三维重建方法；（4）提出一种利用局部增强的三维点云模型进行地标图像分类的方法。在国际权威期刊和会议上共发表论文8篇，其中SCI检索2篇，EI检索8篇。申请专利5项，并获得授权2项。培养博士生4名和硕士生1名，项目负责人获得国家杰出青年基金资助，指导的博士生获得中国科学院院长特别奖。在项目执行期间，项目负责人当选为美国计算机学会杰出科学家（ACM Distinguished Scientist）并获得首届中国计算机学会青年科学家奖。