基于视觉注意和稀疏表示的行人检测与跟踪方法研究

As a key technology, vision system based pedestrian detection and tracking is the basis of the higher level behavior analysis and understanding in the field of computer vision, its detection accuracy and tracking robustness will directly affect the subsequent varieties of advanced applications such as human-computer interaction, pedestrian behavioral descriptions and understanding etc. Because of the complexity in the actual scene and high dimension and nonlinear problem of the body posture space, it is much necessary for designing robust pedestrian detection and tracking algorithms. Therefore, the main focus of the study is as follows, visual attention mechanism based pedestrian detection algorithm, sparse representation based pedestrian tracking algorithm, multi-cue adaptive fusion tracking strategy. For the technical difficulties of vision based pedestrian detection and tracking, the effective solutions are proposed as follows: (1) Visual attention mechanism based pedestrian feature is proposed, which can efficiently describe body contours, another pedestrian feature, which can better reflect the nature property of human body, is simultaneously explored by mapping conversion of the underlying features such as color feature and gradient feature. In order to improve classification accuracy and real-time, according to different pedestrian features, the optimal combination strategy of different classifiers is conducted. (2) Sparse representation and image feature blocks based tracking framework is proposed. And an effective template update strategy will also be presented. (3) Particle swarm optimization based multi-cue adaptive fusion tracking strategy is simultaneously explored.

基于视觉系统的行人检测与跟踪作为一种关键技术，是计算机视觉更高层次行为理解与分析的基础，它的检测精度和跟踪的鲁棒性直接影响到后续的各种诸如人机交互、行人行为的描述与理解等高级应用处理，但现实中的复杂场景以及人体姿态空间的高维和非线性等问题，使得设计稳健的行人检测与跟踪算法变得非常重要。本项目研究基于视觉注意机制的行人检测算法和基于稀疏表示的行人跟踪算法，同时研究多视觉特征自适应融合的跟踪策略。针对基于视觉系统的行人检测与跟踪中的技术难点，提出有效解决方案:(1)提出基于视觉注意机制的能有效描述人体轮廓的行人特征，通过对如颜色、梯度等底层特征进行映射转换, 提出新的更能反映人体本质属性的行人特征，通过对检测分类器进行优化组合，设计构建兼具分类精度和速度的行人检测分类器。(2)提出基于稀疏表示和特征块跟踪的滤波框架，提出有效的模板更新策略。(3)提出粒子群优化基于的多特征自适应融合的跟踪策略。

摘要：基于视觉系统的行人检测与跟踪作为一种关键技术，是计算机视觉更高层次行为理解与分析的基础，但现实中的复杂场景以及人体姿态空间的高维和非线性等问题，使得设计稳健的行人检测与跟踪算法变得非常重要。本项目研究基于视觉注意机制的行人检测算法和基于稀疏表示的行人跟踪算法，同时研究多视觉特征自适应融合的跟踪策略。针对基于视觉系统的行人检测与跟踪中的技术难点，项目在研究过程中，提出了有效的解决算法：.1.提出了一种基于颜色空间的行人特征描述子，称为相关颜色相似性特征(RCS)。该特征描述子通过一定的准则把颜色特征进行转换，映射到其它特征空间，对于映射后得到的人体特征描述子，其外在表现已经与颜色本身没有直接联系，却能很好的描述行人固有的双侧对称性和直立特性。.2.基于半朴素贝叶斯算法的随机Fern分类器有较好的分类性能和较快的分类速度，为了更进一步提高其分类速度，我们采用二值特征来对该分类器进行训练，对此，在相关颜色相似性特征（RCS）的基础上提出了随机颜色相似性特征(RANCS)。同时，又因为人的服饰相比于周围自然场景有特有的纹理，这些在人类视觉系统看来具有很强的“显著性”，尤其是人体和背景接触的边缘部分，“显著性”更为突出。基于此，提出了基于显著性的二值化特征(SBF)。.3.为了提高红外场景下的人体检测速度，提出了基于显著性检测的预处理方案，该预处理方法首先采用显著性检测算法快速地提取出可能包含行人的区域，然后在此区域上进行人体检测。.4.在实际场景中，基于单一视觉特征的目标跟踪算法随着场景的变化很难实现稳健的跟踪，为了提高跟踪算法的鲁棒性，提出了基于粒子群优化多特征权值自适应的粒子滤波跟踪算法。.5.针对行人姿态多变的非刚体特性，提出了基于特征块和稀疏表示的行人目标跟踪算法，以此来实现对行人目标的精确跟踪。