面向城域视频的多目标人车混合行为理解关键技术研究

In view of the traditional hierarchical and regional video monitoring system, the ability of automatic processing is not satisified. The content relation across the camera is not smooth, as such the unified time-space model lack capability for the analysis of large-scale video content. The perception for abnormal behavior is not capable. Thus, based on the unified time-space model, the research aims at the multi-target detection and tracking, relays tracking across the camera, perception of abnormal event. The main research contents are as follows: (1) description and mapping of video coordinate system based on urban traffic information; (2) pedestrian-vehicle mixing tracking based on dynamic social force mode; (3) time-space modeling across the camera based on traffic simulation; (4) abnormal behavior detection based on Local Statistical Aggregates. Through the exploration and innovation of the above key technologies, unified video coordinate description and mapping for urban traffic is eastablished, and pedestrian-vehicle mixing tracking and multi-objective tracking across the camera can be realized to detect the the abnormal behavior. Finally, this research constructs a prototype system of multi-objective pedestrian-vehicle mixing behavior understanding for verifying the validity and practicability of the above technologies.

针对传统分级分区域的视频监控系统普遍存在着自动化处理能力薄弱、跨摄像机内容关联不畅、大范围视频内容分析缺乏统一时空模型、异常行为感知手段匮乏等问题，本课题开展基于统一时空模型的多目标检测与跟踪、跨摄像机接力跟踪、异常事件感知的探索研究。其主要研究内容如下：①基于城域地理信息的视频统一坐标描述与映射；②基于动态社会力模型的人车混合跟踪；③基于交通仿真约束的跨摄像机时空建模；④基于区域统计集合的目标异常行为检测方法。通过关键技术探索和创新，建立城域视频的统一坐标描述与映射，实现人车混合跟踪和跨摄像机多目标跟踪，感知异常行为。最后，实现面向城域视频的多目标人车混合行为理解原型系统，验证上述方法和技术的有效性和实用性。

本项目基于地理信息建立视频统一坐标描述和映射。在此基础上研究了监控视频下的复杂的人车混合场景检测与跟踪技术和跨摄像机接力技术。并以轨迹为依据，开展了异常行为感知技术研究。并且构建了面向城域视频的多目标人车混合行为理解系统，对本研究算法进行了验证。在理论研究和实验研究上，较好的完成了申请书既定的研究目标。.在成果表现形式方面，提交年度总结报告3份，结题报告1份。收集并整理了各类典型环境下交通视频数据集共计130.8TB。发表学术论文24篇，其中，JCR一区和CCF列表论文19篇；申请并授权国家发明专利5项。相关研究成果获得2017年北京市青年优秀科技论文奖、2017年7月国际顶级会议CVPR深度估计国际大赛冠军、2018年11月CCF列表国际会议ICTAI-2018 Best Student Paper Award。.引进国外专家来北航进行学术交流和学术报告6人次，引进国外著名大学教师来北航授课3门次，引进麻省理工学院研究生教材1部，作为大会主席和程序委员会主席与麻省理工学院、名古屋大学联合举办国际会议1次，国际会议大会报告11次，并促进计算机学院与美国麻省理工学院计算机科学与人工智能实验室(全球排名第一)签署学院全球合作伙伴建设协议。.培养了计算机应用方向的高素质硕士研究生11名与博士研究生4名。其中，全国工程硕士实习实践优秀成果获得者1人、北京市优秀毕业生3人、北京航空航天大学优秀学术论文奖获得者3人。.在本项目的支持下，申请并获批国际合作项目1项，申请并获批国家自然科学基金地区合作研究重点项目1项，孵化并完成与公安部第三研究所合作研发项目“机场停机坪安全监控系统”，已应用于南昌昌北机场的停机坪安全监控。