基于结构化循环一致性的三维形状局部特征表示及匹配

3D shape feature representation is a fundamental problem in the community of 3D computer vision. Complex structure variations and large geometric deformations of 3D shapes pose great challenges in 3D shape feature representation. In this project, we will study shape correspondence with learned 3D shape feature representation. We will mainly focus on spectral representation, cycle consistency and metric learning, aiming to build a weakly supervised learning framework for 3D shape representation. The points of our research include: (1) based on the Laplace-Beltrami operator of 3D shape, employ deep neural network to construct 3D shape local feature representation; (2) take full advantage of discriminative 3D shape local features to propose a structured cycle consistency matching model; (3) within the scheme of the structured cycle consistency matching, propose a weakly supervised 3D shape local feature extraction method; (4) investigate 3D shape local feature based shape correspondence. Finally, we will build a robust 3D shape correspondence system to evaluate our theories and methods.

三维形状特征表示是三维计算机视觉领域里的一个基本问题。三维形状复杂的结构变化和较大的几何变形给三维形状特征表示带来巨大的挑战。本项目将面向基于学习的三维形状局部特征表示及匹配的问题，从三维形状谱表示、循环一致性和度量学习三方面开展研究，旨在建立一个基于弱监督学习的三维形状局部特征表示框架。主要内容包括：（1）基于三维形状的Laplace-Beltrami算子，采用深度神经网络构建三维形状的局部特征表示；（2）充分利用三维形状局部特征的判别性，提出结构化的循环一致性匹配模型；（3）在结构化的循环一致性匹配框架下，提出基于弱监督学习的三维形状局部特征抽取的方法；（4）研究基于三维形状局部特征的匹配方法。最后，基于以上理论与方法成果，构建稳健的三维形状匹配的系统验证平台。

三维物体特征表示是三维计算机视觉领域里的一个基本问题。三维物体复杂的结构变化和较大的几何变形给三维物体特征表示带来巨大的挑战。本项目主要研究了三维点云的局部特征表示和全局特征表示方法及在三维物体生成、跟踪、分割和识别中的应用。主要研究内容包括:(1) 渐进式的三维点云反卷积生成网络 (2) 基于超点表示的三维点云场景分割 (3) 基于孪生Transformer的三维物体跟踪 (4) 基于金字塔结构Transformer的三维场景识别。上述方法可用于面向自主无人系统的大规模复杂三维场景理解技术 ，提升自主无人系统的鲁棒性。