基于几何结构学习的层次化形状分析方法研究

Shape analysis is the process of recognizing and understanding shapes, which is an important research topic in computer vision. The existing research methods mainly focus on man-made rules, while the existing learning methods pay little attention to geometry structure of shapes, and most texture orientated methods cannot provide good results on shapes. The goal of the project is to understand shapes in visual semantic, and the research strategy is designed in hierarchical way from low to high. We try to fix the ill-posed parameter problem of the traditional methods by exploring the learning ability of shape geometry structure. Then, as the sparse character and similarity of local shapes, the classification learning method for each pixel cannot be used in shape directly. Thus, shape segmentation method with feature semantic constraints is combined with the mapping between the shape category and the division points. Furthermore, the multi-attribute relations and similarity measurement among shape parts are established and learned to obtain a high level of shape description, which is possible to improve the analysis ability under shape transformation, occlusion, part-missing and so on. Finally, in order to make the method in shape analysis can be both learned and used, shape analysis system is developed to obtain collaborate both shape and texture information.

形状分析是对形状进行识别和理解的过程，是计算机视觉领域的重要研究课题。现有的研究方法主要采取低层次的人工定义规则的方式，而现有的学习机制则缺乏针对形状几何结构的学习方法，很多适用于纹理图像的学习模型在形状分析中并不能获得理想的效果。本项目以面向视觉语义的形状理解为目标，采取由低到高的层次化研究策略。首先通过探索形状几何结构特征的学习方法，解决传统方法参数不适定的问题；其次针对形状内部信息稀疏、局部轮廓相似，无法进行像素级别分类学习的问题，建立形状类别与分割点几何结构之间的映射关系，实现特征及语义约束下的形状的分割方法；进而通过建立形状部件多属性关联及相似性度量方法，获得形状中高层次的描述，以提升形状在变形、遮挡、缺失等情况下的分析效果。最后，通过开发相应的形状分析原型系统，探索形状与纹理协同的视觉处理方法，达到形状分析“可学”、“可用”的目的。

形状分析是形状进行识别和理解的过程，是计算机视觉领域的重要研究课题。现有的研究方法主要采取低层次的人工定义规则的方式，而现有的学习机制则缺乏针对形状几何结构的学习方法，很多适用于纹理图像的学习模型在形状分析中并不能获得理想的效果。本项目以面向视觉语义的形状理解为目标，采取由低到高的层次化研究策略，逐步探索形状几何结构的特征表示问题。针对形状抽象特征的构造，以形状几何结构特征表示的“可学 ”、“可用”为目的，从低层次的形状几何属性度量分析扩展向中、高层次的特征关联与结构分析。.在形状几何结构特征表示方面，项目通过结合形状和纹理特征的顺序双重学习策略，设计了一个两阶段的递归神经网络来平衡这两种性质，使得相关方法比人类和最先进的算法分别高出19%及7.5%。基于所提出方法开发的在线草图检索和模拟应用程序可用于辅助儿童或成人素描学习。.基于直线结构约束的图像拼接方面，项目使用投影不变量特征数查找共面局部子区域，实现大视差图像在多视角下精准对齐。并在目标函数中引入全局共线结构来指定和平衡图像扭曲所需的特征，使得匹配点的均方误差比同类方法低31%左右。可以广泛应用于直线匹配以及图像拼接等任务。.基于几何约束的特征点及椭圆检测方面，本项目提出了一个广义的Pascal映射（GPM），通过判定三次曲线上的9个点是否映射到一条直线。将该模块进一步嵌入到两种最新的基于圆弧的算法中。这使得检测速度比最先进的算法快10%到30%，有望在工业检测中使用。.基于形状特征的伪装目标分割方面，本项目将形状几何结构的中、高层特征用于语义分割，构建了一个新的伪装分割网络来生成初始掩模预测，并将对象放大步骤将原始图像和掩码预测作为输入，并利用基于注意力的采样器自适应地放大伪装对象。本工作能够细化和丰富检测到的细节，特别是对于小物体。.本项目的相关成果不仅是对形状几何结构特征的层次化分析方法的有益探索，同时对纹理和形状结合的视觉任务具有重要延伸和扩展，有着广泛的应用前景。