数据驱动的非刚性物体三维重建与属性分析

In computer vision area, how to improve the ability of machine in understanding objects is an important research topic. Due to the high degree of freedom (DOF) of non-rigid objects and the limited DOF that cameras can capture, the property analysis of non-rigid objects is still carried out in controllable environments, which limits the application scenarios of related techniques. In recent years, the emergence of consumer-grade depth sensors has provided useful hardware supports to the acquisition of 3D data, leading to new chances of improving the ability of machines in analyzing the properties of non-rigid objects. However, the data captured by existing devices is noisy and incomplete. In this project, we plan to combine data driven techniques and optimization theories for fast and accurate analysis of various properties of non-rigid objects from coarse 3D data, especially in the analysis of geometry shape, class, pose, and deformation parameters. First, we plan to extend the neural network based object analysis methods to 3D. Then, with the extracted 3D property as priors, we expect to improve the reconstruction quality of non-rigid objects. Based on high-quality sequential reconstruction results, we plan to incorporate matrix decomposition and optimization theories for the analysis of dynamic properties. Both 3D techniques and machine learning researches will benefit from this project. The techniques proposed in this project will contribute to various areas such as intelligent robot system, man-machine cooperation, and virtual reality.

如何提高机器对物体的理解能力是计算机视觉领域的一个重要研究课题。由于非刚性物体的变化自由度比较高，而图像获取设备能捕捉的自由度有限，对非刚性物体属性的分析研究一直止步于某些受控的环境，限制了有关研究成果的应用场合。近年来，消费级深度传感器的出现为三维数据的采集提供了有利的硬件基础，为提高机器对非刚性物体属性的分析能力带来了机遇。然而，目前设备获取的数据是含噪且不完整的。本项目将结合数据驱动的分析方法与优化理论，重点研究如何从粗糙的三维数据中快速准确地分析出非刚性物体的几何形状、分类、姿态和形变规律等属性。首先将基于神经网络的物体解析方法扩展到三维，然后在三维解析信息的帮助下提高三维重建的质量，最后在高质量连续重建结果的基础上结合矩阵分解和优化理论实现动态属性分析。本项目研究将同时推动三维技术和机器学习研究领域的发展。智能机器人系统、人机协同和虚拟现实等方面的研究都将从本项目的成果中受益。

如何提高机器对物体的理解能力是计算机视觉领域的一个重要研究课题。由于非刚性物体的变化自由度比较高，而图像获取设备能捕捉的自由度有限，对非刚性物体属性的分析研究一直止步于某些受控的环境，限制了有关研究成果的应用场合。近年来，消费级深度传感器的出现为三维数据的采集提供了有利的硬件基础，为提高机器对非刚性物体属性的分析能力带来了机遇。然而，目前设备获取的数据是含噪且不完整的。本项目结合数据驱动的分析方法与优化理论，重点研究如何从粗糙的三维数据中快速准确地分析出非刚性物体的几何形状、分类、姿态和形变规律等属性。主要研究内容包括：面向三维数据序列的非刚性物体的语义属性分析、 语义信息指导的高质量物体三维重建和精细尺度的非刚性物体动态属性分析。项目组成员在围绕本项目的工作中解决了上述研究内容中涉及到的多个问题。首先，通过解决时间连续性和语义连续性等可能出现的问题，实现了稳定的感兴趣目标检测与语义解析；其次，通过低秩矩阵分析解决了时间一致性问题，实现了高质量的三维建图；最后，提出了新型的鲁棒参数估计方法、基于严格旋转不变性的点云表达以及深度层次类簇网络的点云分析方法，同时实现了对刚性与非刚性三维物体的精细分析。本项目的研究包括底层图像处理、三维物体表达与参数化分析三个方面。在底层图像处理技术方面，提出了基于深度神经网络的图像超分辨模型，验证了非刚性物体的先验信息在数据恢复中的有效性，解决了基于深度图与彩色图获取物体的像素级感知的问题，并引出了关于深度神经网络是否适用于深度图恢复这一任务的深刻思考。在三维物体表达方面，提出了一种具备旋转不变性的三维表达方式，为三维物体属性分析打下了良好基础。在参数化分析方面，引入了子空间分析的概念，获得了更准确的分析性能。