复杂场景下非合作目标鲁棒识别方法研究

Based on compressive sensing theory, this project aims at figuring out new theories and methods on robust non-cooperative object recognition in complex scene, by taking face as a research example. Three key issues will be addressed: multi-task learning based object recognition in image series, linear-structure preserving illumination normalization, and jointly modeling pose and expression. A GPU-based prototype system on robust object recognition will be built to verify the above theories and methods. Our goal is to extend the study of sparse representation based robust object recognition from a controlled or partly controlled scene to a uncontrolled scene. We hope to establish a relatively complete theory and method for robust object recognition based on compressive sensing theory, which is also suitable to non-cooperative object recognition in complex scene. This research project will have an important impact on object recognition over the world. The main contributions of our research include: (1) Propose a multi-task learning based object recognition framework via structured sparse coding. (2) Propose a dictionary sharing sparse illumination transfering method, and an efficient dictionary learning method for sparse illumination transfering. (3) Propose a part based face model by Bayesian network, and a new method for part based face alignment. (4) Build a GPU-based system for robust object recogniton to provide a platform for validating the performance of new theories and methods.

以压缩感知理论为基础、以人脸为研究对象，本课题主要针对复杂场景下非合作目标鲁棒识别的理论和方法开展研究，解决图像序列的多任务学习识别、保持图像线性子空间结构的光照归一化、姿态和表情联合建模这三个关键科学问题，建立基于GPU架构的鲁棒物体识别演示验证系统，旨在把稀疏表示鲁棒物体识别技术从可控或半可控场景拓展到非可控场景，期望建立较完善的以压缩感知理论为基础、面向非合作目标、适合复杂场景的鲁棒物体识别相关理论和方法，在物体识别领域产生较大的国际影响。 本课题研究的主要贡献包括:(1)提出基于多任务学习的结构稀疏表示联合识别框架;(2)提出基于字典共享的稀疏光照迁移方法，以及高效的稀疏光照字典学习算法；（3）提出基于贝叶斯网络的人脸分块表示模型和分块图像对齐算法；（4）建立基于GPU架构的鲁棒物体识别验证平台，为新理论和新方法的性能验证提供平台。

物体识别是计算机视觉领域的一个经典问题，在安防监控、人机交互等领域具有重要应用。借助于先进的压缩感知理论和深度学习技术，以人脸识别为具体对象，本课题主要研究复杂场景下非合作目标鲁棒识别问题的理论和方法，重点解决光照、姿态、表情等主要因素对目标识别算法性能的影响，研究内容覆盖识别框架、关键算法、演示系统三个层面，涉及识别框架、光照归一化、姿态和表情归一化、目标跟踪等方面，并开发出一个鲁棒的物体识别演示验证系统。具体地，课题组在如下几个方面做出了贡献：（1）在鲁棒物体识别框架方面，课题组对稀疏表示人脸识别框架进行了关键性拓展，使之可以适应单样本人脸识别问题，提高了对姿态和表情变化的鲁棒；（2）在姿态和表情归一化方面，课题组提出一种基于生成式对抗网络的人脸图像生成方法，可以实现任意姿态和表情下人脸图像的高精度合成，从而实现姿态和表情的归一化；（3）在目标跟踪方面，课题组先后提出了结构化稀疏表示鲁棒跟踪算法、多任务相关粒子滤波跟踪算法、分层约束的分块跟踪算法等，极大地提高了复杂环境下目标跟踪算法的精度和鲁棒性；（4）在图构建方面，课题组提出利用数据的稀疏和低秩特性来捕获高维数据点在低维流形空间中的全局结构和局部结构信息，从而更好的描述数据之间的流形分布。课题组的相关研究成果主要通过高水平学术论文和专利的形式发表出来。截止填表日，课题组已经在IJCV、TPAMI、TIP、CVPR、ACM MM等国内外期刊和学术会议上发表学术论文20篇（含12篇 CCF A类论文, 6篇未标注），申请国家发明专利4项（1项已经授权），培养相关方向的研究生10人（7个博士生，3个硕士生，含在读学生）。课题组相信本课题组的研究成果对物体识别领域具有重要学术价值，期待未来可以进一步完善相关技术，实现产业化。