面向城区综合环境的行人检测和意图分析关键技术研究

Pedestrian is the most important obstacle in urban environment. The pedestrian detection, and intention analysis algorithm’s availability and real-time performance plays a crucial role in pedestrian collision avoidance and road safety. It also provides the key technology of unmanned vehicle with theoretical basis and technological support. Due to the complex deformation of pedestrian, traditional tracking algorithm cannot obtain ideal effect. This project proposes a TLD-based (Tracking-Learning-Detection) pedestrian tracking method. It combines tracking with detection. And it also develops a novel online learning method. This combination overcomes the lots of problems such as the loss of target and partial occlusion, and enhances the robustness of complex deformation. At the same time, the visual methods will be influenced by the changing illumination condition outdoors. This project analyzes the inherent law of the existing feature descriptor to establish a method which can create new feature descriptor. In order to decrease the influence of illumination, this method creates and screens these feature descriptors to find the illumination robust one via science assessment criteria. The intention aware of pedestrian is indispensable in maintenance of road safety and safeguard the traffic efficiency. In order to solve the potential intention recognition problem under the pedestrian’s changeable behavior, this project combines GPDM (Gaussian Process Dynamical Models) with HMM (Hidden Markov Models) method to establish a practical intention aware algorithm. According to the points above, this project develops an integrated pedestrian detection, tracking and intention analysis system via a large number of experiments.

行人可视为综合城区环境中的重要障碍物。行人检测和意图分析算法的实时性和有效性在行人避碰与道路安全方面起到了至关重要的作用，也为研究无人驾驶车辆关键技术提供了理论依据和技术支撑。由于行人在运动时发生的复杂形变，使得传统的跟踪算法难以取得理想的效果，提出一种基于TLD的行人跟踪方法。该方法将检测与跟踪加以结合，同时引入在线学习机制，克服目标丢失和部分遮挡等问题，加强对复杂形变的鲁棒性。同时，视觉方法都会受到户外环境多变的光照条件的影响，通过分析现有特征描述子的内在规律，提出一套新的特征描述子的生成方法，建立科学的评价指标，筛选出对光线鲁棒的特征描述子，以减轻光照的影响。行人的意图分析在维护道路安全和保障交通效率中必不可少，针对行人多变行为下潜在意图识别问题，将GPDM和HMM方法相结合，建立一套实用的行人意图分析算法。结合以上几点，通过大量实验，开发一套完整的行人检测、跟踪与意图分析系统。

行人可视为综合城区环境中的重要障碍物。行人检测和意图分析算法在行人避碰与道路安全方面起到了至关重要的作用，也为研究无人驾驶车辆关键技术提供了理论依据和技术支撑。.本项目主要研究工作包括：1）视觉方法都会受到户外环境多变的光照条件的影响，通过分析现有特征描述子的内在规律，提出一套新的特征描述子的生成方法，建立科学的评价指标，筛选出对各种复杂场景鲁棒的行人特征描述子。借助上述方法生成框架，寻找到了一个相比HOG更加适合行人检测的算子G2P；2）由于行人在运动时发生的复杂形变，使得传统的跟踪算法难以取得理想的效果，本项目提出一种基于TLD的行人跟踪方法。该方法将检测与跟踪加以结合，同时引入在线学习机制，克服目标丢失和部分遮挡等问题，加强对复杂形变的鲁棒性；3）提出映射模型转化算法，这是一种全新的虚拟鱼眼行人数据库生成方法。在新生成的数据库中，在鱼眼图像中位置不同的行人被分别进行训练。在此基础上，本项目提出了一种基于自适应部件的检测方法，检测具有不同变形程度的行人。试验中，为了满足实时性要求，使用GPU对算法进行了加速。实验结果表明该方法具有较高的检测精度。4）提出了定向空间转化网络，在特征层面对畸变的行人进行了矫正，在不损失检测速度的前提下，使得针对严重畸变的行人检测精度获得了提升。.结合以上几点，通过大量实验，开发一套完整的行人检测、跟踪与意图分析系统，在智能车领域KITTI国际权威排行榜上名列前五（目前国内高校最好成绩）。发表高水平论文25篇，其中IEEE汇刊长文4篇（智能交通领域旗舰期刊IEEE T-ITS论文2篇、智能车领域旗舰期刊IEEE T-IV论文1篇）、机器人领域顶会IEEE-IROS会议论文1篇、机器人领域顶会IEEE-ICRA会议论文1篇、智能车领域顶会IEEE-IV会议论文5篇、智能交通领域顶会IEEE-ITSC会议论文3篇。获得国家发明专利授权2项，申请国家发明专利10余项，培养博士生5名，硕士生9名，参加国际顶级会议16人次。