基于3D/2D内在约束的复杂形状描述及抽象特征研究

Shape analysis is the identification and understanding of the images by extracting shape feature of the object in the image, which is an important research topic in computer vision. The existing methods mainly focus on the 2D image processing technology, and the complex shape recognition and the understanding of shape structure remains to be solved. The research results of cognitive science show that the 3D information can aid the analysis of 2D image effectively. The representation of high level characteristics is more easily to be identified and understood. .Therefore, this project is based on the study of 3D and 2D geometric constraints, and the corresponding relationship between the shape elements can be obtained through the mapping relationship between the feature description; For the complex shape analysis problem, 3D/2D constraints are used to solve the decomposition, registration problem of complex shapes, and feature fusion method is used to construct the invariant feature of non-coplanar shapes; For the abstract feature construction problem, our purpose is to get the structure and meaning of the shape feature. In this project, the study of the shape analysis is turned from the geometric properties of low level measurement to the high levels of characteristics associated structure analysis. The successful implementation of the project is not only a useful exploration of the 3D-2D shape analysis, but also an effective complement and important extension to the existing shape analysis method.

形状分析是通过提取图像中目标的形状特征对图像进行识别和理解的过程，是计算机视觉领域的重要研究课题。现有的研究方法主要集中在传统的2D图像处理技术上，对复杂形状的识别及形状结构和含义的抽象表示还有待研究。认知学的相关研究结果表明3D信息可以有效的辅助2D图像的分析，且高层次的特征表示更易于识别和理解。. 因此本项目以研究3D与2D之间的几何约束问题为基础，通过特征之间的映射关系获取形状元素之间的对应关系；针对复杂形状的描述问题，研究在3D/2D约束下的复杂形状的分解、配准问题，并借助特征融合的方法研究异面形状的不变特征表示问题；针对形状抽象特征的构造，以获取反映形状结构及含义的特征为目的，将形状分析的研究从低层次的几何属性度量分析转向中、高层次的特征关联与结构分析。项目的成功实施不仅是对3D-2D的形状分析方法的有益探索，同时也是对现有的形状分析方法的重要延伸和有效补充。

形状分析是通过提取图像中目标的形状特征对图像进行识别和理解的过程，是计算机视觉领域的重要研究课题。现有的研究方法主要集中在传统的2D图像处理技术上，对复杂形状的识别及形状结构和含义的抽象表示还有待研究。本项目以研究3D与2D之间的几何约束问题为基础，研究在3D/2D约束下的复杂形状的特征提取、匹配等问题，并借助特征融合的方法研究异面形状的不变特征表示问题；针对形状抽象特征的构造，以获取反映形状结构及含义的特征为目的，将形状分析的研究从低层次的几何属性度量分析转向中、高层次的特征关联与结构分析。. 在形状不变特征构造方面，项目通过构造几何约束及射影变换约束下的形状特征描述子，使得相关方法在射影变换下的形状匹配结果较目前最好方法提升8%左右。可以有效的应用于符号匹配、基于轮廓的人体动作分析等方面。. 在基于3D与2D之间关系的空间曲线匹配方面，项目借助特征数理论建立3D与2D特征点之间的关系，实现空间曲线在多视角下的匹配。尤其是空间异面直线在多视角下的匹配结果较现有最好方法不仅匹配精度有所提升，且匹配的直线数目比现有最好方法提高20%左右。可以广泛应用于3D重建等方面。. 基于几何约束的特征点及椭圆检测方面，通过最优传输理论将3D人脸映射到2D进行特征点检测再映射回3D，可以大幅提升特征点检测精度。另一方面，利用二次曲线约束加速椭圆的检测过程使得算法在精度保持的情况下，检测速度较目前最快方法提升20%左右，有望在工业检测中使用。. 因此项目的相关成果不仅是对3D-2D的形状分析方法的有益探索，同时也是对现有的形状分析方法的重要延伸和有效补充，也有着广泛的应用前景。