图像与三维模型结合的高层形状分析研究

With the rapid development of emerging industries including cultural creativity, virtual reality, games and cartoons, the demand for 3D models is also increasing, and thus it needs intelligent shape modeling technologies. However, these new modeling techniques have a foundation of high-level shape analysis. The number of images is huge, but images suffer many problems, such as lacking depth information, variable viewpoints, and obstructions. On the other hand, 3D models have complete shape information, but they suffer degenerations, and the number of 3D models is much less than the number of images. The aim of this project is to combine images and 3D models to help semantic-aware shape analysis. In order to consider the difference among shapes from the same class and non-rigid shape’s plentiful deformations, non-rigid 3D shape co-analysis will be firstly investigated, transferring knowledge from pre-labeled images to 3D shapes for ensuring the consistency of segmentations, and the robustness of algorithms will be improved as well. To deal with information lacking, 2D shape’s co-analysis will be combined with 3D shape information, aiming at some fundamental problems which are hard to solve by 2D information alone. Based on the above algorithms, the extracted semantic information can be utilized to impel some important research problems, such as shape correspondence, shape retrieval. In conclude, the project has important scientific significance and non-trivial theoretical value, and consequently has broad application prospects.

随着文化创意、虚拟现实、动漫游戏等新兴产业在国民经济中的作用日益突显，三维模型的需求量也与日俱增，对三维形状智能建模技术提出挑战，而新型的建模技术以高层的形状分析为基础。图像的数量丰富，但存在深度信息丢失、视角差异、遮挡等问题，而三维模型的形状信息完整，但存在退化情况，且数量远不及图像丰富。本项目旨在利用图像和三维模型数据的信息互补性更好地解决感知语义的形状分析问题。为了兼顾同类非刚体的形状差异和非刚体自身的丰富形变，提出非刚体三维形状联合分析方法，借助图像分割数据来保证同类非刚体的分割一致性的，同时提高算法处理模型退化情况的鲁棒性；为了弥补二维形状的信息缺失，提出结合三维形状信息的二维形状联合分析方法，以期解决一些仅依赖二维形状难以处理的问题；在研究以上两类算法的基础上，利用提取出的语义信息推进形状对应、形状检索等基本问题的研究。本项目具有重要的科学意义和理论价值，以及广阔的应用前景。

为了更好地解决图像和三维数据的联合分析问题，本项目研究了三维数据的智能分析、图像的联合分析，并在此基础上，进而研究图像与三维数据结合的人体姿态估计与检索、人体行为的智能分析与预测。在三维数据的智能分析方面，为了兼顾非刚体自身的丰富形变与不完整模型的数据缺失问题，提出借助稀疏表示重建误差来度量形状相似度的方法，并将其用于非刚体不完整模型形状检索与分类；为了解决三维场景模型分割中难以处理接触物体的难点问题，提出借助三维形状库来辅助决策的分割方法；将对三维运动数据的理解与民族舞蹈保护相结合，提出基于三维运动数据分割与分析的拉班舞谱自动生成方法。在图像的联合分析方面，为了处理复杂图像的显著性检测，提出单张图像协同显著性检测框架；提出结合深度学习的图像天空区域分割方法，并将其用于图像的剪影风格化；提出基于生成对抗网络的人脸超分辨率重建方法，通过人脸组件语义信息的先验引导，来改进生成网络和对抗网络；针对前背景颜色相近的图像难以准确分割的问题，提出RGBD 图像的联合分割方法。在图像与三维数据结合的智能分析方面，为了从单目图像推理三维空间信息，针对基于样例的三维姿态估计方法依赖于姿态样例库规模的问题，提出一种基于样例增强的单目图像的三维人体姿态估计方法，旨在通过匹配和合成策略隐式地实现样例库的自我扩充，增强姿态样例库的多样性；针对人体姿态图像检索结果受视点影响的问题，提出视点无关的人体姿态图像检索框架，从三维角度来度量姿态的相似性。在人体行为的智能分析与预测方面，在研究单人行为识别、人群异常行为检测的基础上，进一步研究了基于深度学习的人体行为定位、人体行为预测，提出基于深度强化学习的人体行为定位模型、基于概率图的人体行为定位模型和基于条件对抗网络的人体行为预测模型。研究成果对增强现实、视频监控等领域均具有积极意义。