深度形状语义网络表示机理及其结构保留机制与判别性研究

As the primal feature of visual information, shape information is an important factor influencing the performances of computer vision tasks, such as object detection, tracking and recognition. The current shape analysis framework relies on the hand-crafted single-layer shape representations and the shallow machine learning methods, leading to the fact that shape representation, shape matching, shape classification and metric learning cannot be optimized jointly and globally. Inspired by the rich works of deep learning and shape analysis, for addressing above issues, this project attempts to systematically study the deep learning-based shape representation mechanism via constructing a deep shape semantic network which can unify shape representation, shape matching, shape categorization, and metric learning by simulating the shape cognition of human brain. Aiming at tackling the various shape geometric transformations and the high diversity of homogenous shape samples, the project emphasizes on the studies of the shape deformable structure preserving mechanism and the discriminating of deep shape semantic network. Based on these works, the final objective of this project is to develop a novel shape analysis theory based on deep learning for promoting the progress of shape recognition on image and video big data processing, and supporting the research and development of advanced products.

作为视觉信息的基本特征，形状信息一直是影响目标检测、跟踪、识别等诸多计算机视觉技术性能的重要因素。针对当前形状分析框架依赖人工设计的单层特征表示和浅层机器学习方法，导致形状表示、匹配分类及度量学习之间相互独立的研究现状，本项目以深度学习技术为手段，以形状分析的丰富研究成果为基础，系统研究基于深度学习的形状表示机理，模拟人类大脑对形状的认知，搭建集成形状表示、匹配分类、度量学习为一体的统一深度形状语义网络。围绕形状几何变换与形状内类变化等形状分析常见问题，重点研究深度形状深度网络的非刚性结构保留机制以及深度形状深度网络表示的判别性，发展以深度学习为基础的形状分析理论，推动基于形状的目标分类与识别技术的进步，为前沿科技产品研发提供技术理论支撑。

形状是构成各类视觉信号的基本几何表达，是目标检测、跟踪、识别等诸多计算机视觉算法依赖的重要特征。课题系统研究形状特征学习与分析相关的理论体系，根据人脑对于形状认知的特点，从图像语义视角出发，研究基于深度学习的形状表示机理，结合层次化特征表达与领域先验知识，提出了正交自动编码器、残差网络微结构等一系列深度形状语义表示学习模型；围绕形状几何变换与形状类内变化等形状分析常见问题，研究深度形状语义网络的非刚性结构保留机制，结合注意力机制、特征选择等技术，突破概率词袋模型构建、形状变化建模等难点，形成知识引导深度聚焦神经网络、深度变化网络、深度特征选择学习网络等一系列具备形状结构提取能力的深度学习方法；通过引入多空间度量学习、多层级度量学习、迁移学习、深度生成学习等前沿技术，探索形状深度网络表示的判别能力提升问题，提出了深度迁移多度量网络、多目标联合引导的肺结节生成网络、语义解析引导神经网络等深度学习模型；上述成果已经成功应用在医学图像分析、行为识别、人脸识别等多个领域，验证所提出方法与模型的创新性与有效性。. 课题围绕形状表示、匹配、分类技术研究及其应用，先后在国内外期刊和会议上发表学术论文33篇（含已录用），其中SCI检索论文19篇，EI检索论文14篇，CCF推荐论文23篇。在课题支持下，已培养青年教师2名、博士生3名、硕士生2名。