视觉遮挡边缘模型及其在视频目标表观建模中的应用研究

Robust visual target tracking is an important and fundamental task in computer vision and pattern recognition. Target appearance modeling is the core problem. The bounding box is frequently utilized to indicate the target that needs to track. However, the background noises exist inside the bounding box in most of the cases. Existing approaches model the target appearance by treating the noises as part of the foreground target, reducing the robustness of the target appearance model. In this proposal, we introduce a novel visual occlusion edge model, and this model can supply the true foreground region efficiently, even the depth information of the video is unavailable. This model also supplies the visual cues which can be employed to infer the depth order of the true target and the background. In addition, this proposal introduces a novel layered target appearance model, which fully utilizes the occlusion edge cue in multiple visual layers, and hence boosts the robustness of the target appearance model. The method introduced in this proposal can be widely applied to video surveillance, motion analysis, scene understanding in video and image.

对视频中的运动目标进行跟踪是计算机视觉和模式识别领域中一个重要的基础课题。待跟踪目标的表观建模是其研究核心。采用矩形包围盒指定目标物体是目前的主流策略，但包围盒内部往往存在着不确定的背景噪声，现有大多数方法直接将这些背景噪声作为真实目标的组成部分用于表观建模，从而导致了目标表观模型的不稳定性。本项目旨在提出一种新颖的视觉遮挡边缘模型，该模型能够在景深信息缺失的单目视频帧中，快速精确地获取真实目标区域，并为推理真实目标与背景噪声的相对深度关系提供视觉依据。进一步地，基于视觉遮挡边缘模型，本项目提出一种新颖地层次化视频目标表观模型，该模型从多个视觉层次有效地利用遮挡边缘特性建模目标物体，从而提升了目标表观模型的鲁棒性。本项目的研究成果能够为视频监控、运动场景分析、视频、图像场景理解等相关领域提供理论基础和应用条件。

遮挡现象在自然界中广泛存在，本项目以该现象为研究对象，旨在研究遮挡边缘的建模与求解方法，揭示其内蕴视觉性质，研究其对计算机视觉任务的促进机理。本项目的科学结论包括：1）遮挡边缘的显著视觉性质体现在其内蕴的物体表达属性；2）遮挡边缘模型建模与求解需结合精确边缘位置求解与物体语义求解，3）遮挡边缘特征与深度次序特征之间具备显著的互补性，4）遮挡边缘对其它应用具备促进作用。本项目在遮挡边缘检测、物体间深度次序推理方面的主要研究成果如下：首先研究如何获得精确边缘位置，建立了基于底层边缘特征的遮挡边缘求解方法，通过求解自适应特征表达子空间，提升了基于底层特征的遮挡边缘表达的鲁棒性，通过求解原始训练样本的基样本，有效的去除了噪声训练样本，显著提升了检测的鲁棒性。其次，研究基于神经网络多层特征互补特性的遮挡边缘检测方法，利用底层特征获得精确边缘位置，利用遮挡边缘点高层语义特征之间的约束性质，有效去除孤立存在的非遮挡边缘噪声点，采用自适应融合的方法，将多层特征形成有效融合。从而显著提升遮挡边缘检出性能。第三，研究遮挡边缘与深度次序推理的互补性质。通过语义边缘特征的局部区域上下文关系表达前景/背景区域的两侧线索，并将该线索与遮挡边缘线索融合，精确定位物体区域并预测前景/背景关系。进一步的，开展视觉目标追踪等领域的应用研究，具体成果包括：首先，构建一种基于双层模型的物体感知跟踪算法，使得跟踪模型在适应目标表观变化同时，能有效区分目标对象和背景噪声，有效避免传统方法中常见的“预测目标漂移到非物体背景”问题，能够与现有基于表观特征的目标追踪算法框架形成有效融合和互补。其次，设计面向自动驾驶场景的微小障碍物发现方法，利用遮挡边缘的物体表达能力，有效缓解微弱障碍物特征提取不充分的难题。基于上述研究成果，发表TIP/ICCV/ICRA/AAAI等期刊会议论文9篇，申请国家发明专利5项，获得第八届吴文俊人工智能科学技术奖技术发明三等奖，获得视觉目标追踪国际权威竞赛VOT2019-ST冠军。本项目的研究成果，有望促进实例分割、全景分割等计算机视觉研究任务，本项目在微弱视觉障碍物方向的研究成果已初步跨领域应用于OLED显示屏的微弱视觉缺陷的发现，有望为泛半导体领域的工业质检提供基础支撑，该技术还在探索应用于大规模海面场景的微弱目标搜救等重要场景。