高时空分辨率的动态对象几何与运动信息获取方法

Acquiring geometry and motion information of the dynamic objects is an important research topic in computer vision and computer graphics, with various applications in industrial areas such as animation production and virtual reality. Existing methods can capture object information with high spatial resolution or with high temporal resolution, but not with both due to hardware limitations and algorithm deficiencies. This research project focuses on developing novel methods for high spatio-temporal resolution capture of the dynamic objects. The project will cover three major aspects: fast and accurate geometry reconstruction, motion computation under topological changes and motion-guided dynamic reconstruction for highly accurate models. There are several key scientific problems to be tackled, such as accuracy and efficiency balance for geometry reconstruction, post-processing for multi-view point clouds, mesh motion computation under topological changes and spatio-temporal consistency for dynamic object reconstruction. Technical contributions include multi-scale detail-preserving stereo matching, surface detail generation, motion sequence segmentation with topology detection, basic model selection and dynamic model reconstruction with deformation transfer and hybird interpolation. The outputs of the research project will be beneficial for many industrial applications.

动态对象的几何信息和运动信息获取技术是计算机视觉和图形学中的热点研究问题，在动漫制作、虚拟现实等领域具有重要的应用价值。现有方法技术受到硬件条件和算法不足等多方面因素制约，无法达到高空间分辨率和高时间分辨率的双重获取要求。本项目针对这一问题，研究在现有硬件条件下动态对象高时空分辨率数字化信息的视觉获取方法和技术。主要研究内容包括快速高精度几何重建，拓扑变换下的运动信息计算以及基于运动信息引导的高精度动态序列重建。关键科学问题包括重建算法精度效率的平衡问题，多视角点云后处理问题，拓扑变化检测问题以及动态序列时空一致性重建问题等。主要技术创新包括保持细节的多尺度立体匹配算法，表面细节生成方法，基于拓扑变化的动态序列分割方法，基准模型选取方法和基于混合插值的动态序列重建方法等。本项目的研究成果可直接服务于国家产业需求。

动态对象的几何信息和运动信息获取技术是计算机视觉和图形学中的热点研究问题，在动漫制作、虚拟现实等领域具有重要的应用价值。本项目针对这一问题，经过四年的研究，提出了多个创新性的技术方法。在快速高精度几何重建方面，提出了基于压缩感知的深度图算法、基于分割树的双目立体匹配算法、最小生成树引导的高精度片元深度计算方法、图像结构约束下的实时双目立体匹配方法、基于最小最大路径的快速深度插值方法、全连接引导滤波器、基于分割图的图像滤波方法、利用施密特多项式进行双边滤波加速方法、基于二阶平滑先验的图像保边平滑快速算法；在拓扑变换下的运动信息计算方面，提出了相似物体的重要度测量与估计方法、图像中的鲁棒相似物体检测方法、基于物体去除的内容相关图像重定位方法、基于形状特征分析的三维复杂装配体自动拆卸方法、基于迭代滤波的景深效果渲染方法、基于对称广义帕累托分布统计模型的图像恢复方法、基于RGB-D约束的交互物体分割方法、以及人脸关键点定位结果评价方法；在基于运动信息引导的高精度动态序列重建方面，提出了基于统计学习的表情动画模拟方法、特征感知的自然纹理合成方法、图像内容相关的颜色转移方法、基于一致性分割的粗匹配图像颜色纠正方法、基于直方图约束的图像恢复方法、基于特定像素值约束的图像恢复方法、基于纹理感知合成的图像缩放方法、基于片元匹配和马尔可夫随机场的联合分割与深度计算方法，共发表论文25篇，其中SCI期刊论文14篇，包括了4篇Transaction论文，会议论文11篇，包括视觉领域顶级会议ICCV3篇，CVPR2篇，申请国内专利5项，国际专利1项，获得软件著作权1项，达到了本项目的研究目标。