复杂监控场景下融合红外和可见光双模信息的小目标事件检测方法研究

Centering on the requirement problem of reliability and timeliness of small-object event detection in comparatively large surveillance places (stations, public squares et al.), we propose a local spatio-temporal search based research idea in the big data set. By utilizing the complementary of infrared and visible imaging, and the lastest techniques of salience/objectness detection, fine-grained recognition et al., we expect to break through two key problems of "how to efficiently reduce the search space" and "how to effectively discriminate small-object events from similar clutters", and thus reach the research purpose of improving the reliability and timeliness of small-object event detection. Specifically, this project will aim at: 1) designing an effective dual-modality imaging characteristics description model based on the intrinsic understanding of the infrared and visible imaging characteristics of objects of interest in complex surveillance scenarios; 2) building an dual-modality video data set through kinds of methods, such as shooting videos in real surveillance scenarios; 3) developing rational detection methods for candidate event regions based on the imaging characteristics description model and the lastest achievements of salience/objectness detection research; 4) proposing a fine-grained recognition method of small-object events based on the lastest achievements of fine-grained recognition research; 5) further presenting a complete small-object event detection method with high reliability and timeliness. The outputs of this project are expected to offer both fundamental theories and technical supports for the update of current intelligent surveillance systems and for the future development of new types of surveillance systems. The research achievements can directly serve the intelligence surveillance in comparatively large surveillance places, such as stations, public squares et al.

围绕较大监控场所中（车站、广场等）的小目标事件检测可靠性和时效性需求问题，提出在大规模数据中基于局部时空搜索的研究思路，利用红外和可见光成像互补性，以及显著性/似物性检测、细粒度识别等最新技术，以期突破“如何高效地降低搜索空间”和“如何有效地区分小目标事件与相似杂波”两个关键问题，达到提高检测可靠性和时效性的研究目的。项目主要进行：1）分析复杂背景下兴趣目标的可见光和红外成像特性，建立双模成像特性描述模型；2）通过现场拍摄等手段构建双模视频数据集；3）基于成像特性描述模型和显著性/似物性检测最新成果，研究高效的事件候选区域检测方法；4）基于细粒度识别最新成果，研究小目标事件细粒度识别方法；5）进而研究一个完整的、有较高可靠性和时效性的小目标事件检测算法。项目的完成将为当前监控的系统升级，以及未来新型监控系统的研制提供理论与关键技术支持。研究成果可以直接服务于车站、广场等较大场所的智能监控。

事件检测是智能视频监控系统的关键技术之一。本课题利用红外和可见光成像互补性进行复杂监控场景下的小目标事件检测算法研究。按照项目计划开展了七方面研究：（1）在行为/事件数据集方面，创建了第一个公开可用的红外行为识别数据集InfAR，以及红外与可见光双模行为数据集，并进一步构建了红外与可见光行为/事件检测数据集。（2）在图像显著性检测方面，提出了基于语义特征的显著性检测方法，结合人类视觉和信息论的红外图像显著性检测算法。（3）在红外与可见光图像配准研究方面，提出了基于转换对抗网络的红外与可见光图像配准算法、基于深度学习的红外与可见光图像配准方法。（4）在行为/事件识别和检测算法方面，提出了基于部分模态生成式对抗网络的行为识别算法、基于行人轨迹的行为检测方法、基于学习的事件检测帧池化算法、基于LSTM网络热度图的跌倒事件检测方法、基于运动历史图像和方向梯度直方图特征的跌倒事件检测算法等。（5）在图像分析研究方面，提出了基于混合网络的弱监督实例分割算法、纵向MR脑组织数据的时间一致性分割算法、基于深度学习模型的细粒度图像识别、基于跨媒体主动学习的图像分类算法。（6）在行人分析研究方面，提出了基于改进Faster RCNN算法的人体姿态检测、基于目标检测和密度图回归融合的单帧图像人数统计方法、基于RGB-D的复杂环境下人流量统计方法、监控环境下融合Adaboost和CNN的行人计数算法、基于混合模式数据关联的多目标跟踪算法。（7）对人脸活体检测、红外小目标检测、图像质量评估等拓展研究内容进行了研究，并取得了较好的效果。在本项目支持下，共发表论文28篇，包括2篇顶级国际会议（CVPR和ECCV），12篇SCI期刊论文（ESI高被引论文2篇），13篇EI检索论文，参加国内外学术交流22人次，申请专利8项，申请软件著作权2项，培养硕士研究生22名，参加国际事件检测算法比赛2次。目前, 部分研究工作引起国内外同行的关注。