基于红外视频的行人检测基准数据集建立方法研究

Recently, due to its non-discriminatory application in both daytime and nighttime, pedestrian detection based on thermal imagery has become a hot spot in advanced driver assistant systems. The establishment of benchmark datasets is an important issue in object recognition and detection domains. However, the lack of benchmark datasets regarding infrared pedestrian detection leads to a phenomenon that some ad hoc infrared videos are prepared for the evaluation of different detectors directly. As a consequence, a biased evaluation result may be generated, because the ad hoc infrared videos may differ significantly from each other due to different various cameras' setup and data acquisition manners. By targeting on the benchmarking of pedestrian detection datasets based on infrared videos, we study the understanding and taxonomy rules to guide the annotation of infrared pedestrian videos, thus providing the scientific basis for benchmarking large scale datasets with abundant annotation. Using the transfer of auxiliary data and ensemble learning theory, we present a pedestrian detection method towards specific videos. Based on the aforementioned study, we investigate an interactive method for accurate and automatic video annotation, by proposing to partition the task for videos annotation into pedestrian detection in specific videos and human intervention for annotation correction. We will present benchmark datasets for pedestrian detection based on thermal imageries after fulfilling this project.

基于红外热成像的行人检测已成为车辆辅助驾驶领域中的热点问题，它为白天和夜晚的无差别应用提供了可能。基准数据集是目标识别与检测的重要基础。目前因有关红外行人检测基准数据集的缺失，检测算法性能的评估只能使用自行准备的专有视频数据,这些视频数据因成像设备的各项参数和数据采集方式的不同而产生差异，往往导致检测性能评估有偏。本项目提出以建立红外热成像行人检测基准数据集为目标，研究适合红外行人视频数据标注的理解和归类规则，为建立标注信息丰富、规模充分的基准数据集提供科学依据；利用辅助集的迁移和集成学习理论，研究适应不同指定场景的行人检测方法；在此基础上，将视频标注过程分解为指定场景中的行人检测和人工校正两个交错进行的环节，研究自适应的半自动视频标注方法。通过本项，为基于红外热成像的行人检测研究提供一个统一的数据平台。

红外热成像的行人检测已成为车辆辅助驾驶领域中的热点问题，它为白天和夜晚的无差别应用提供了可能。基准数据集是目标识别与检测的重要基础，尤其目前红外行人检测基准数据集稀少和不够健全，检测算法性能的评估只能使用自行准备的专有视频数据。这些视频数据因成像设备参数和数据采集方式的不同而产生差异，导致检测性能评估有偏。本项目以建立红外热成像行人检测基准数据集为目标，完成了四个方面的工作：1) 研究适合红外行人视频数据标注的理解和归类规则，为建立标注信息丰富、规模充分的基准数据集提供科学依据；2) 利用辅助集的迁移和集成学习理论，研究适应不同指定场景的行人检测方法；3) 在前述工作的基础上，将视频标注过程分解为指定场景中的行人检测和人工校正两个交错进行的环节，研究自适应的半自动视频标注方法；4) 建立实验系统，对本项目提出的半自动标注方法进行验证。通过本项，为基于红外热成像的行人检测研究提供了统一的数据平台。