用于交通管理的复杂拥挤环境下协同视频监控理论和方法研究

The existing video surveillance technology can't satisfy the characteristics of urban traffic management, such as variate targets, illumiation changes, complex crowd behavior，etc. This subject aims at video surveillance technology in crowded and complex environments. It proposes to use hybrid camera networks, and study brand new theories and methods of video surveillance. The novelty of this subject lies in the integration of cooperative surveillance with developed advanced object detection and behavior analysis techniques. Three key issues will be addressed: occlusion handling of objects in crowded and complex environments, online dynamic learning of object detectors, and multi-object selection in tracking. A large-scale benchmark database and a prototype system will be built to validate the performance of the technologies developed above. This subject will have important impact in the field of video surveillance over the world. The main contributions of this subject are: (1) Provide theories and methods for object occlusion handling in crowded and complex environments; (2) Build behaviour models for object behaviour analysis and abnormal detection; (3) Propose theories and methods for online updating the object detectors; (4) Provide theories and methods for cooperative control and distribution of cameras in hybrid camera networks; (5) Build a large benchmark database of traffic scenes and tools to provide convenience for researchers all over the world.

现有视频监控技术无法满足城市交通应用场景中人群拥挤、目标多样、光照条件多变、人群行为复杂等特性。本项目针对复杂拥挤环境下的视频监控技术开展研究，提出使用混合摄像头网络，创新性地将协同视频监控与目标检测、行为分析等关键技术紧密结合，研究全新的视频监控理论和方法，解决复杂拥挤环境下的目标遮挡处理、目标检测器的在线动态学习和多目标跟踪选择这三个关键科学问题，建立大规模数据库和原型验证系统进行实验验证。 本项目研究成果的主要贡献有：（1）提供复杂拥挤环境下目标遮挡处理的理论与方法；（2）建立目标行为模型，进行目标行为分析与异常检测；（3）提出目标检测器在线动态学习的理论与方法；（4）提供混合摄像头网络协同控制与分配的理论与方法；（5）建立大规模交通场景视频数据库和相应工具，为全世界的研究者提供便利。

复杂环境下的交通场景视频监控是目前监控领域面临的重大挑战，本项目围绕着复杂拥挤环境中的视频监控技术展开了研究，并在多个方面取得了重要的成果。具体来说，主要研究内容可以分为如下几个方面：（1）提出了复杂拥挤环境下的交通场景中目标检测理论与方法；（2）建立了基于交通监控视频的行为分析与异常行为检测模型；（3）提出了交通场景下跨场景目标检测和再识别技术及其在交通监控视频分析中的应用；（4）提出了混合摄像头协同控制与分配的相关方法以及协同视频监控的相应技术；（5）开发了一个基于交通监控视频的原型验证系统，为基本算法的性能评估提供了一个良好的验证平台；（6）建立了一个大规模的交通场景视频数据库，并提供了相应标注，评价工具。.项目按照预定的计划进行，在各个研究内容方面取得的成果均超出了申请书制定的数据指标（详见正文部分）。成果包括以下方面：（1）理论成果：本项目的研究内容整理发表在国内外知名会议与期刊上共51篇，其中，国际顶级会议CVPR,ICCV,ECCV,NIPS,IJCAI,ICML,AAAI等23篇，TPAMI,TIP,TCSVT等IEEE trans.系列顶级期刊9篇；（2）系统实践：收集了超过20万帧真实交通场景下的监控图片，构建了目前最大规模的交通场景综合数据库，并建立了相应的原型验证系统；（3）学术交流：与香港中文大学、微软亚洲研究院、商汤科技公司等进行了广泛的学术交流与技术合作；（4）人才培养：在项目的实施过程中，共培养了硕士14名，博士9名（包含已毕业与在读），并获得包括中科院院长优秀奖（2人次），国家奖学金，中国科学技术大学优秀博士学位论文在内的多种奖项。.本项目所关注的复杂环境视频监控技术不仅可以用于交通视频，也可以用于其他的相关领域，如国防监控、金融场所监控等非交通场景。基于以上的研究内容，其研究成果具有广大的应用场景和重要的社会经济意义，对相关领域的研究也有着重要的影响。.