基于多尺度分析的无人机航拍人体异常行为检测研究

The relative motions between UAV camera and moving human body in aerial videos have dynamic variation, this certainly will cause a great deal problems, which increase the challenge of human abnormal behavior detection and restrain the scene understanding capacity of UAV enormously, such as the large scale variation of ground moving human body, strong backgrounds distraction, etc. Aiming at these problems above, this program focuses on abnormal human behavior modeling and identification from UAV videos. First, in order to solve the problem of dynamic backgrounds distraction in aerial videos, the validity of multiscale analysis will be studied and multiscale-based updating models will be designed. Moreover, for settling the problem of the large scale variation of ground human abnormal behavior, inherent mechanism of the validity of multiscale-based trajectory characteristics will be detailed analyzed. Based on the principles of Machine Learning, efficient extraction and further data mining of multiscale-based trajectory will be studied; meanwhile, a more suitable filter bank based model will be proposed by studying the definition and implementation structure of the filter, design and adjustment of direction parameters and the order of the filter, feature pooling and selection through fusing the theory of multi-scale analysis and feature fusion. It will provide effective solutions and technological means to abnormal human behavior modeling and identification in UAV videos, boost scene understanding capability and the intelligent level of UAV and offer theoretical guidance and technical support for other aerial scene understanding tasks.

航拍场景中无人机与人体目标的相对运动，导致地面人体目标的观测存在尺度变化大及背景干扰强等问题，增加了异常行为检测的难度，极大地制约了无人机的场境理解能力。针对上述问题，本课题对航拍人体异常行为的检测方法进行研究。首先探究多尺度分析有效性的机理，设计基于多尺度分析的背景建模更新模型，解决航拍视频中背景干扰强的问题。然后进一步细致分析和表征多尺度轨迹特征有效性的内在机理，基于机器学习的思想进行多尺度轨迹特征的有效提取及二次特征构建；同时，结合多尺度分析和特征融合思想对滤波器组的类型、阶数及方向等参数和特征池化等进行研究，建立更有效的滤波器组架构模型，检测尺度变化大的航拍人体异常行为。课题的研究将为航拍人体异常行为检测提供有效的解决方案和技术手段，提高无人机的场境理解能力和智能化水平，并为其他航拍场境理解任务提供理论指导和技术支持。

航拍场景人体行为数据集缺乏、雾霾降低图像能见度等因素，增加了航拍行为检测的难度，极大地制约了无人机的场境理解能力。因此，为了更好的进行航拍场景的人体行为理解，本项目主要在航拍人体数据集构建，图像预处理的分割和去雾、航拍目标检测、多尺度融合特征姿态估计和行为理解等方面展开研究。.1）航拍人体数据集构建.依据航拍场景人体理解的研究和应用需求，构建了航拍可见光行人数据集、航拍红外行人数据集和航拍可见光暴力行为数据集。.2）图像预处理：分割和去雾.针对图像复原过程，采用改进的最小二乘滤波方法对透射率图进行优化，使边缘细节得到强化，光晕效应可以得到缓解。针对大气光值和优化模型，基于大气散射模型采用单阈值分割与四叉树方法对大气光值进行快速、准确的定位和估计。此外，采用了一种新的多特征的双线性神经网络有效地抑制图像噪声。针对大气光值和透射率估计，采用了canny边缘检测算法精确定位天空区域，并采用二叉树算法获取大气光值，然后，采用自适应维纳滤波对透射率进行修正，并采用形态学方法对透射率进一步优化。.针对图像分割预处理，团队提出了一种扩展的脉冲耦合神经网络(PCNN)模型，该模型采用决策树策略，并建立了参数与图像特征之间的联系。特别是可调阈值与全局神经阈值的估计相互作用，使得所提出的模型能够利用模糊集理论获得较好的结果。.3）航拍目标检测.针对红外成像对比度低，构建了基于HOG特征和SVM的检测系统。针对航拍RGB图像目标尺度变化，传统机器学习方法受限问题，构建了基于深度学习YOLO的航拍行人检测系统，并进行了剪枝等研究以加速模型运行。.4）基于多尺度轨迹特征融合特征的行为表达.充分考虑人群异常行为与人群密度以及人群平均运动速度的关系，构建多任务级联CNN获取人群密度，融合使用多尺度光流轨迹估计人群的平均运动速度，完成人群异常行为的表达和识别。.综上，本项目的研究将进一步拓展无人机的航拍场景理解能力。