面向公共安全监控的人体轮廓跟踪技术研究

In recent years, terrorist attacks and other violent events occur frequently. Using computer vision technique to monitor human behavior in public areas can effectively help preventing and warning abnormal events, hence has extensive and urgent social demand. Traditional tracking methods using rough target expression are inadequate to accurately describe human shapes as well as robustly deal with the real life complex cases. This project is designed for practical public surveillance. Considering the diversity characteristics of human appearance and shape in complex environment, this project focus on the research of tracking method that can accurately track the shape of human body and sequentially output their accurate contours: 1) simulating the attention mechanism of human visual system, study the bottom up human appearance modeling method based on discriminative visual elements exploitation and contextual relationship learning; 2) based on the deep autoencoder, study diverse human shape prior encoding method and individual bias modeling method; 3) based on above constructed human appearance model and shape prior model, study knowledge guided image semantic segmentation theory and human contour tracking theory. The study of this project maximizes the output accuracy of tracking methods, provides a favorable technical support for national public security, and provides an accurate and effective interested object information acquisition framework for advanced video semantic understanding.

针对近年来频发的恐怖袭击等暴乱事件，采用计算机视觉技术对公众场所进行人体行为监控，可以有效防范与预警异常事件的发生，具有广泛且急迫的社会需求。相对于传统跟踪方法采用粗略的目标表达形式难以准确描述人体形态，以及难以鲁棒的应用于真实复杂场景，本项目面向实际公共监控场景，针对复杂环境下人体表观与形态的多样性特点，研究能够准确追踪人体形态、序列性输出人体精确轮廓的跟踪方法：1）模拟人类视觉系统的注意机理，研究基于辨识视觉元素挖掘与上下文关联关系学习的自底向上人体表观建模方法；2）研究基于深度自编码器的多样性人体形态先验编码与个体偏好建模方法；3）基于以上人体表观与形态先验模型，研究带有知识指导的图像语义分割理论以及人体目标轮廓跟踪理论。本项目的研究，最大化提高了跟踪方法的输出精度，为保障国家公共安全提供有利的技术辅助，也为视频高级语义理解提供一套准确、有效的感兴趣目标信息获取框架。

针对传统跟踪方法采用矩形边界框等粗略的目标表达形式难以准确描述目标形态并引入背景污染问题，以及传统人体跟踪方法采用高计算复杂度肢体模型面临的可扩展性差与应用场景局限性问题，本项目面向实际公共监控场景，针对复杂环境下人体表观与形态的多样性特点，研究能够准确追踪人体形态、序列性输出人体精确轮廓的跟踪方法。分别研究在人体表观层面，基于超高斯模型以及扩张方差比模型模拟人类视觉系统对自然图像的注意机理，挖掘图像中的辨识性视觉元素，学习其相互间的上下文关联关系，获取图像中潜在的视觉结构，建立鲁棒的结构化目标表观模型，以及在人体形态层面利用深度自编码器基于采样数据进行多样性人体形态先验编码与个体偏好建模方法，实现从整体到局部、从表观到形态的目标视觉语义抽取。最后，基于学习的人体表观与形态先验模型，研究带有知识指导的主动轮廓理论，实现轮廓线具有语义驱动的定向演化与收敛计算方法，从而实现对视频流中人体目标的动态连续鲁棒跟踪技术，最大化提高跟踪方法的输出精度，为公共安全监控提供有利的技术辅助，也为视频高级语义理解提供一套准确、有效的感兴趣目标信息获取框架。在一系列公共视频集上的实验结果，以及与传统矩形框跟踪方法、传统动态轮廓跟踪方法的比较实验结果验证了提出方法的有效性。