基于互联网视觉和属性迁移的行人重识别方法研究

Semantic attributes is effective, easy for parallelization, and visually invariant. It provide new insights into the research of person re-identification. However, due to the insufficiency of attribute-labeled data and the difficulty of extraction of effective features, existing methods are haunted by low recognition rate. Moreover, because labeled data have strong dependency to special scenario, trained models cannot be applied to surveillance scenarios with representation differences, therefore it is difficult to apply trained model to a new domain. To solve these problems, this proposal conduct a study from three aspects: data construction, feature extraction, and model transferring. Firstly, in order to build a scenario-invariant attributes dataset, we propose to utilize Internet vision to help build an auxiliary attributes dataset. We devise an automatic selection algorithms based on the semantic analysis model, improving the accuracy of subject-specific search. Secondly, in order to effectively extract attribute features, we propose a new deep model based on human local structure and hierarchy prior. Furthermore, we utilize the potential restriction relations to improve the loss function of the deep model, therefor improving recognition accuracy. Finally, to weaken the representation difference of attributes between Internet vision and surveillance scenario and realize attribute transfer, we propose a generative adversarial transfer model based on the consistency of attribute categories, to realize joint optimization between attribute transfer and attribute discrimination. The above works play a significant role in taking full advantages of Internet image resource to improve the performance of the pedestrian re-identification in open surveillance systems.

语义属性描述以其有效性高、易于并行化、视觉稳定性强的优点，为基于视频监控的行人重识别研究提供了新思路。但是，由于属性标记数据不足，有效特征难以提取，从而导致识别率较低；同时，由于标记数据有较强的场景依赖性，难以应用于视觉表征差异显著的场景，从而导致模型难以跨域迁移。为此，本课题拟从数据构建、特征提取、模型迁移三个方面展开研究。首先，针对如何自动构建具有普适性的属性数据库问题，提出利用互联网视觉建立数据库的方法，设计基于语义分析模型的自动选择算法，以提高主题检索的精确度；其次，针对如何高效提取属性特征的问题，探索人体局部结构和层次先验知识，并基于此设计高效的特征提取网络模型，以提高识别准确率；最后，针对如何实现属性判别的跨域迁移问题，提出基于属性类别一致性的对抗迁移模型，通过属性迁移及属性判别的联合优化，以提高跨域迁移效率。该课题对充分利用互联网资源提高开放环境中行人重识别精度具有重要意义。

语义属性描述以其有效性高、易于并行化、视觉稳定性强的优点，为基于视频监控的行人重识别研究提供了新思路。但是，由于属性标记数据不足，有效特征难以提取，从而导致识别率较低；同时，由于标记数据有较强的场景依赖性，难以应用于视觉表征差异显著的场景，从而导致模型难以跨域迁移。为此，本课题从数据构建、特征提取、模型迁移三个方面展开了研究。首先，针对如何自动构建具有普适性的属性数据库问题，利用互联网视觉建立了大规模属性数据库，设计了基于语义分析模型的自动选择算法，提高了主题检索的精确度。其次，针对如何高效提取属性特征的问题，探索人体局部结构和层次先验知识，并基于此设计了高效的特征提取网络模型。针对全局式特征提取方式下属性特征有效性差的问题，通过人体局部结构的拆分与整合建立人体结构信息与语义属性信息的内在联系：基于人体关节定位的结构拆分可以有效提升局部特征的提取能力，基于人体结构层次先验的整合可以提升对语义属性信息的预测能力；同时，利用属性间潜在约束关系进一步改进损失函数，提高识别准确率。最后，针对如何实现属性判别的跨域迁移问题，提出了基于属性类别一致性的对抗迁移模型，利用循环一致性对抗迁移模型可以在无匹配标签的训练数据下获得有效域间迁移的能力，结合属性类别在领域迁移变换过程中的一致性，提出适用于跨域属性判别的对抗性属性迁移及判别联合模型，以期提高深度网络的泛化能力。该课题将显著提高开放式监控环境中行人重识别的性能，为该技术在开放式监控环境中的应用提供重要的理论依据和技术支撑。