基于信息融合的精准身份识别方法

Accurate person identification has broad application prospects in public safety management, and person Re-Identification (Re-ID) is one of the key technologies for accurate person identification under complex scenarios and a hot research topic in the field of visual recognition. This project focuses on the research of Re-ID. By systematically analyzing the influence of different scenarios on different appearance image presentations, we obtain the well complemented presentations according to their robustness and discriminant capability under different conditions, and fuse the complementary presentations in semantic space. On this basis, we utilize transfer learning, graph learning and semi-supervised learning techniques to handle the problem of the lack of training data for a deep network framework, and study on the framework design method of the problem-specific deep neural networks, so as to reduce the blindness of network design. The above fused presentations are inputted to the designed deep network with corresponding outputs which are denoted as the deep presentations. In order to further reduce the impact of scenario changes on person identification, we apply multiple dictionary learning technique to obtain the reconstruction relationship between deep presentations. The study fully considers the inner structure and multiple presentations of data, the local and global semantic relationship and neighborhood relationship between data, together with the transfer of knowledge between different domains, to establish the correlations among various information obtained for Re-ID based on their semantics, and realize information fusion in the semantic space. Based on the fused representations of person appearance images, effective metric techniques and ranking approaches are proposed for accurate person identification in the semantic space.

精准身份识别在公共安全管理等方面具有广阔应用前景，而身份重识别(Re-ID)是实现复杂场景下行人身份精准识别的关键技术和当前视觉识别领域研究热点之一。本课题以身份重识别作为研究对象，通过系统研究分析各种行人外表表示特征受场景不同变化的影响，学习在鲁棒性和判别能力方面互补性强的多种表示特征，并在语义空间进行特征融合。在此基础上，通过迁移学习、图学习及半监督学习技术，解决训练数据缺少问题，研究针对该问题的深度学习框架设计方法，减少网络设计盲目性，并将融合后的特征输入深度网络，得到深度描述特征。采用多字典学习技术，学习深度描述特征间的重构关系，降低场景变化因素对身份识别的影响。上述研究充分考虑数据内结构和多视图描述信息，有效利用数据间局部、全局语义关联和近邻关系，结合不同领域间的迁移知识，通过语义建立多种信息关联，在语义空间实现信息融合，并采用度量和排序技术实现精准身份识别。

针对复杂场景下的行人重识别开展相关技术研究，完成了项目预期研究目标。.提出了一种基于部件的双路径特征学习网络框架，学习局部特征并解决跨模态差异问题，研究提出了结合图像和视频的整体和局部特征，获取鲁棒性好、判别能力强的特征表示。研究表明，图底层特征、中间层特征，图像整体表示特征、部分表示特征等适应不同场景，实现特征间的优势互补。.研究表明，数据深度特征学习受多种因素影响，如网络结构、损失函数的定义、训练技术、数据语义等。过程中需要考虑数据局部与整体的关系、底层表示与高层语义的关系、异构数据语义关联关系、同域数据间的近邻关系及不同域数据间的互补关系等多种因素，用可解释性信息指导网络结构设计，使网络局部结构和整体结构都变得具有一定可解释性，实现局部可解释性和功能化，对于拓展网络结构组合，针对问题快速设计新的网络提供了可行方案。研究了基于语义的特征学习、融合技术及度量技术。充分利用数据语义信息，通过网络结构设计和度量技术等，引导学习强化判别特征、弱化干扰特征，从而提高识别的准确度。提出利用域迁移的方法对不同模态的行人数据进行特征融合，构建了一个平滑聚合模块来提取、对齐和融合网络中间层的特征映射，提取数据丰富信息。.提出了一个集域自适应、自监督聚类再训练和联合损耗训练于一体的三阶段跨域行人重识别模型。同一行人不同模态图像数据语义相同，相似图像语义关联度大，否则语义关联度就小。语义内容丰富，包含图像语义、背景语义等，如获取图像外貌特征，如着装、颜色、帽子等，语义可以进一步细分。项目研究了如何更好结合图像语义信息和知识迁移指导图像特征提取，提高身份重识别精度。.为验证轻量级方法的有效性，构建了无人机视角下的校园行人重识别库，验证了技术在无遮挡、半遮挡及遮挡不同场景下的识别效果，已在横向课题中得到部署和验证。