基于隐特征修复遮挡建模的物体检测

Huge demands in visual data analysis are boosted by the rapidly growth of image and video resources, while challenges are followed. In general, people aim to obtain the analysis results which can match human perception by allocating limited computational resources in visual tasks such as detecting objects with large occlusions. Occlusion is considered as a next great frontier issue for visual analysis where research on occlusion modelling is of great theoretical significance and broad applications. The key problem of occlusion handling is to distill and model the knowledge from the occlusion patterns. Toward this end, this project proposes latent feature recovery framework to study the latent relationship between object representation space and representation error space, and solve the occlusion modeling problem. In this study, to explore the theories, methods and applications for occlusion modeling with latent feature recovery, we will focus on occlusion knowledge distillation and modeling, occlusion knowledge embedding for representation learning, and methods for detecting occluded faces in the wild. Finally, this study provides latent feature recovery based occlusion modeling framework to enable the practical occlusion-aware object detection solution. The expected research results include over 12 papers, more than 6 patents, latent feature recovery theory, unified robustness and effective object detection algorithms and related prototype system.

随着视觉数据的飞速增长，人们对海量视觉信息分析的需求日益提升的同时，也面临巨大挑战，体现在针对视觉信息中的遮挡问题，人们希望使用有限计算资源优先分析重要物体且获得符合人类视知觉认知的结果。研究遮挡条件下的视觉分析具有十分重要的学术前景和应用意义，其技术关键核心问题是如何从隐含语义上对遮挡进行建模与学习。围绕该关键核心问题，本项目创新性地提出隐特征修复的理论和方法，通过研究物体表征空间与特征误差空间的隐含关系，对遮挡问题进行建模与求解。本项目从理论、方法和应用三个方面，深入研究遮挡的知识规律发现与建模理论、遮挡知识引导的物体表征学习方法和自然环境下的遮挡人脸检测技术，旨在提出具有理论基础与实际应用价值的基于隐特征修复的遮挡建模方法，并以此为基础构建完整的遮挡鲁棒的物体分析技术框架和算法。预期研究成果包括12篇以上论文和6项以上专利，隐特征修复理论、高效稳定的物体检测算法和原型系统。

随着多媒体处理技术的快速发展，图像和视频等视觉资源呈现爆炸式增长趋势，人们对海量视觉信息在智能化分析和挖掘等方面的需求日益提升的同时，也面临着巨大挑战。自然环境下，人们希望计算机能够具备“人类视知觉系统快速发现与推理物体异常”的能力进行稳健的视觉信息分析。遮挡被Facebook科学家认为是视觉识别领域的下一个前沿挑战。. 针对视觉遮挡的建模学习问题，从理论、方法和应用三个方面，深入研究基于隐特征修复的遮挡建模理论及遮挡物体检测方法，分别研究遮挡的知识规律发现与建模、遮挡知识引导的物体表征学习以及自然环境下的遮挡人脸检测。围绕研究内容，构建了基于跨质量知识蒸馏的复杂遮挡条件下物体表征学习方法框架，提出了选择性知识蒸馏、桥蒸馏、去遮挡蒸馏、混合阶关系知识蒸馏、进化知识蒸馏、小样本蒸馏、通道蒸馏等方法处理低质量视觉物体的隐特征修复，提出了鲁棒高效的典型物体检测识别算法，解决了蒙面人脸识别、低分辨率物体理解、弱小目标跟踪等自然环境中广泛存在的易受遮挡干扰的视觉物体分析理解难题，丰富了自然环境下的视觉分析理解模型的研究领域；将遮挡建模问题拓展到广义的深度伪造检测理解、带噪标签多源数据学习等问题，扩展了方法的应用范围。相关成果在国内外著名期刊和会议发表论文34篇，其中IEEE TIP 4篇、IEEE TNNLS 1篇、IEEE TCSVT 2篇、IEEE TMM 1篇，AAAI 4篇、ACM MM 6篇、IJCAI 1篇；提交发明专利申请20项，获得授权6项；获得软件著作权3项；技术成果两次获得国际挑战赛冠军；获得吴文俊人工智能技术发明二等奖。. 本项目成果的科学意义在于：对自然环境下的视觉识别问题，从隐语义层面上探索问题成因并提出行之有效的解决方案，为人类视知觉对图像感兴趣内容理解建立桥梁。