基于注意力模型的跨场景行人检测算法研究

Cross-scene pedestrian detection has struggle with the presence of scale differences, non-rigid deformations, partial occlusion caused by material objects and background interference. The difficulties of cross-scene pedestrian detection lies in essential representation of essential features, construction of robust classification models, precise localization of spatial locations, and the ability to generalization. To solve the aforementioned challenges, we propose the following novel solutions. For distinct visual appearances of disparate spatial scales, we propose a multi-scale CNN feature selection and fusion algorithm based on attention model to solve the cross-scale difference of pedestrians in global holistic features and local regional features. To solve the problem of semantic alignment errors caused by partial occlusion and local aliasing, we propose a semantic feature alignment method by weak supervision according to the characteristics of pedestrian topology. And a pedestrian classification algorithm will be proposed to improve the ability of pedestrian classification discrimination and anti-occlusion based on semantic feature self-attention model. To alleviate localization of spatial locations which caused by lack of position sensitivity to high-level CNN features, we propose a pedestrian localization algorithm to improve positioning accuracy based on context attention model by aggregating spatio-temporal context features in video. The research outputs will be applied for video surveillance systems and advanced driver assistance systems in public safety settings.

在跨场景行人检测中由于行人不同尺度差异、自身的非刚体形变以及其他物体的部分遮挡和背景干扰问题，导致行人检测在本质表观特征表示、分类模型构建、空间位置精确定位及跨场景泛化能力等方面遇到极大的挑战。为此，本项目拟提出如下创新性的解决方案：针对行人在不同尺度上类内特征分布不一致的问题，根据不同尺度行人在全局整体特征和局部细节特征上的差异性，研究一种基于注意力模型的多尺度CNN特征选择及融合算法。针对受遮挡行人目标所引发的外观模式差异、局部混叠等语义对准误差问题，根据行人拓扑结构特点，研究基于弱监督的语义特征对齐方法和基于语义特征自注意力模型的行人分类算法。针对具有分类平移不变性的高层CNN特征缺乏位置敏感性导致行人定位不精确的问题，根据视频图像时空间上下文辅助信息，研究一种基于上下文注意力模型的行人定位算法。最终项目的研究成果将用于公共安全场所内的视频监控系统和高级驾驶辅助系统。

智能视频监控是当前计算机视觉和多媒体分析领域内的热点问题，而行人对象的智能分析技术是智能视频监控系统中的核心关键技术之一。然而，在实际监控场景中，由于场景本身的复杂性和多样性以及监控距离、拍摄视角、遮挡问题等因素的干扰，不可避免的导致视频中目标在特征提取、建模、学习与推理等方面都遇到很大的挑战，严重的影响了监控视频中行人检测、跟踪与再识别的性能。因此，对行人目标开展智能分析的研究是视频监控领域中一个非常重要的研究课题，具有广泛的应用价值和研究意义。本课题主要围绕以下三个方面开展研究：.（1）根据不同卷积特征层对不同空间尺度行人目标有效特征表示的差异性，设计了基于尺度感知的多任务损失函数在多路径行人候选区域推荐网络上根据行人图像的分辨率来动态自适应的感知相应卷积特征层上的有效特征，以提高行人目标的特征表达能力。.（2）基于孪生网络结构的目标跟踪算法中，由于其分类和回归任务共享的网络结构限制了跟踪器获得更鲁棒和准确预测的能力。 鉴于识别目标类别需要平移不变特征，而位置敏感信息有助于目标边界框回归任务，设计了一种差异化的跟踪头网络，其通过利用特征响应模块 (FRM) 和差异化兄弟头 (DSH) 减轻分类和回归任务域之间的错位。.（3）源域与目标域行人图像的表观特征差异性是导致行人重识别模型泛化能力下降的最关键因素。针对这一问题，在带标签的源域和无标签的目标域采用无监督学习方式对齐行人部件，并设计了跨域不变性损失函数学习跨域行人局部语义不变性特征模型。进一步，提出了基于多标签协同学习的跨域行人重识别方法，利用语义解析模型构造了基于语义对齐的多标签数据表示，并利用协同学习平均模型减少跨域场景下噪声硬标签的干扰。