基于弱监督深度学习的自由视点运动目标检测研究

This proposal will focus on 4D weakly-supervised deep representation, background modeling and free-viewpoint dynamic object detection for dynamic scenarios. Conventional 2D supervised object detection and unsupervised motion segmentation face big challenges in real surveillance environments, such as the lack of pixel-level labels for dynamic objects, arbitrary viewpoint changes and the existence of unknown dynamic objects. This will severely limit current object detection and semantic segmentation approach in real dynamic surveillance environments. To address these problems, this proposal mainly focuses on these four research topics: (1) Weekly-supervised deep background modeling in dynamic ray space. (2) The compressive sensing based free-viewpoint feature representation and pooling. (3) Generative understanding and synthesis of free-viewpoint dynamic objects. (4) The semantic map of dynamic objects for the video surveillance of crowded scenes. This proposal will provide the solution for the challenging weekly-supervised deep background modeling and free-viewpoint motion detection. Moreover, we will make creative advancements on weekly-supervised dynamic ray-space representation and modeling, 4D spatiotemporal free-viewpoint feature learning estimation, and weekly-supervised semantic understanding of free-viewpoint dynamic objects which could benefit the research of visual cognition for complex surveillance environments.

本项目面向自由视点动态场景，重点开展4D时-空背景的弱监督深度表达与建模、自由视点前景运动目标检测等研究。传统基于有监督学习的2D目标检测和无监督的运动目标分割在真实监控环境中面临极大的挑战，如缺少场景中运动目标的像素级标签、目标出现的视角任意变化，场景中存在未知的运动目标等，导致已有的目标检测与语义分割算法在真实的动态监控环境中受到极大的限制。本项目针对上述问题，主要研究：（1）动态光线空间中的弱监督背景深度学习与建模；（2）基于压缩感知的自由视点特征表达与池化；（3）生成式自由视点运动目标合成与理解；（4）面向拥堵场景视频监控的运动目标语义地图。本项目将突破弱监督背景建模与自由视点运动检测瓶颈，在动态光线空间的弱监督表达与建模、4D时-空特征的自由视点深度学习、自由视点运动目标的弱监督语义理解等方面取得创新性进展，对于复杂监控场景中的运动认知计算研究具有重要的理论意义和应用价值。

本项目面向自由视点动态场景，重点开展了4D时-空背景的弱监督深度表达与建模、自由视点前景运动目标检测等研究。本项目资助期间，申请人在JVCI、JEI、PRCV、BMSB、IC3D等期刊和会议上共发表论文10篇，其中高水平期刊论文5篇，国内外高水平会议论文5篇；参加国际会议3次；参与组织3次国际学术会议：ICIPRoB2020(Technical Program Chair)、IC3D2020（Technical Program Chair）、BMSB2021（Financial Chair）；申请国家发明专利15项，授权10项；培养博士研究生3人，硕士研究生5人。项目申请人首次提出了姿态-形状解耦的自由视点三维形状重建方法，实现了弱监督情况下学习形状和视点的潜在几何参数，同时生成相机视点和自由视点的物体三维形状，为后续自监督自由视点物体级三维重建研究提供了良好的理论基础。同时，申请人提出了时空融合的单目自监督运动位姿估计方法，实现了高精度6D姿态估计，构建了完整的自监督深度学习视觉里程计框架，为场景中的自由视点运动建图和定位打下了良好基础。项目负责人在资助期间参加了2019-2022年各年度的CCF-CV专委会会议，并参与组织了IEEE广播技术协会的旗舰会议BMSB2021，通过以上国内外学术活动极大地推动了相关领域的科研合作，并与国内同行就相关研究进行了较为充分的学术交流和沟通。.通过本项目研究，突破了弱监督背景建模与自由视点运动检测瓶颈，在动态光线空间的弱监督表达与建模、4D时-空特征的自由视点深度学习、自由视点运动目标的弱监督语义理解等方面取得了创新性进展，对于复杂监控场景中的运动认知计算研究具有重要的理论意义和应用价值。本项目的研究成果实现了弱监督自由视点深度学习的运动目标检测，相关理论和技术还促进了自由视点视频在医疗纤支镜辅助插管、工业缺陷检测等系统的应用。