面向视觉目标识别的深度度量学习方法研究

Visual object recognition is one key problem in intelligence video analysis, whose performance is directly related to the success of subsequent high-level visual understanding tasks. Since visual objects (such as human faces, pedestrians and generic objects) in practical scenarios usually have large variations in pose, illumination, occlusion and background, how to compute their similarity measure in complex environments remains an important and challenging topic in computer vision. This project aims to develop new deep metric learning techniques for visual object recognition, which is expected to improve the performance of conventional distance metric learning methods in computing the similarity of visual patterns. Specifically, we propose to exploit four different deep metric learning strategies from different aspects such as localized learning, cross-modal learning, multi-view learning and multi-manifold learning, which will be used for different visual object recognition applications to develop better practical visual object recognition systems. This project will provide more new and effective solutions to similarity measure of visual patterns in object recognition, and yield self-dependent intellectual property, which can be used in various areas such as robotics, surveillance, forensic, social media and cyber-security.

视觉目标识别是智能视频分析中的核心问题，其性能的好坏直接影响后续高层视觉理解任务的成败。真实场景中的视觉目标(如人脸、行人和物体等)变化模式非常丰富，往往易受到姿态、光照、遮挡、背景等因素的影响，因此如何实现复杂变化模式下的视觉目标之间相似性有效度量是计算机视觉中一个非常重要且具有挑战性的研究课题。本项目将深入研究面向视觉目标识别的深度度量学习技术，针对传统度量学习方法在复杂模式下对视觉样本相似度描述能力不足这一问题，分别在局部化学习、跨模态学习、多视图学习和多流形学习等四个方面研究深度度量学习方法，满足不同视觉目标识别任务的需求，实现更好的视觉目标识别实用系统。本项目将为解决目标识别中视觉模式之间的相似性度量提供了有效途径和新的思路，将产生具有自主知识产权的成果，可以广泛应用到机器人、视觉监控、公安刑侦、社交媒体和网络安全等多个领域。

本项目深入研究了面向视觉目标识别的深度度量学习理论与方法，针对传统度量学习方法在复杂条件下对视觉样本相似度描述能力不足这一挑战，分别提出了特有性和共有性的多视角度量学习、深度结构化特征学习、深度对偶度量学习的跨模态匹配、深度对偶度量学习的跨模态匹配、深度图二值特征学习、深度残差最小化哈希学习、自适应样本合成的深度度量学习方法和深度均匀分布特征学习等深度度量学习方法，在人脸识别、血缘关系认证、图像视频检索、跨模态匹配等应用上取得很好性能。项目按照预定计划顺利执行，并且顺利完成了预定目标。项目负责人以第一作者或通讯作者发表（录用）学术论文46篇，其中国际期刊论文21篇，国际会议论文25篇。项目负责人获2018年度国家自然科学基金委员会优秀青年基金资助，入选2019年北京智源人工智能研究院青年科学家，当选国际模式识别学会会士（IAPR Fellow）。本项目部分成果获2020年中国电子学会自然科学一等奖。