城市智慧安监的相关基础理论和视觉分析技术

Nowadays, most of individual behaviors and crowd behaviors are recorded by many of multiple large field of view cameras in the cities. How to understand these videos play a fundamental role in the intelligent surveillance. In this application, we will study the collaborative representation and modeling theory, the new deep learning model in a manner of incremental temporal learning with an attractive interpretable insight, the crowd behavior understanding via the combination of data-driven and knowledge-guided scheme. The primary focuses of this project are as follows: the modeling approach via the combination of dynamics and probabilistic graph model, deep learning and its fine-tuning optimization for complex temporal data, the recognition and prediction of crowd behaviors, a web-of-service platform to offer the service of multiple target tracking, crowd behavior prediction, behavior summarization and cross-media retrieval. In the end, we will integrate the above research and eventually create a real world application for intelligent city surveillance.

对视频网络环境下大视野、多相机所记录的个体行为和群体交互进行分析和理解，在协同表达与建模、可解释复杂时序数据在线增量深度学习以及数据驱动和知识引导相结合群体行为视觉计算等理论方面实现突破，研究结合动力学和概率图模型的建模方法、复杂时序数据在线增量深度学习及微调优化、群体行为辨识和预测等算法，构建云服务平台，汇聚专家经验、视频案例和应急决策等数据，提供多目标跟踪和辨识、群体行为预测预警、视觉摘要生成和跨媒体搜索等服务，在城市智慧化安监领域进行验证和示范，形成创新性的理论、技术和算法集研究成果，提升城市精细化、智能化和科学化管理水平。

项目立项以来，以城市中网络互联视频摄像机所捕获海量数据为研究对象，对多相机下个体行为和群体交互进行理解，解决跨源、大视野、多相机时序数据协同表达建模、时序数据的可解释在线增量深度学习以及群体行为交互与识别等核心难点问题进行了研究。.在研究过程中，课题组围绕视频网络环境下的协同建模与表达、可解释复杂时序数据在线增量深度学习、结合数据驱动和知识指导的群体行为视觉计算方法等方面进行了研究。.研究期间，项目组共发表论文94篇，其中包括IEEE 汇刊论文26篇、CCF认定A类期刊/A类会议论文60篇，分别为IEEE Transactions on Image Processing 8篇、IEEE Transactions on Knowledge and Data Engineering 2篇、IEEE Transactions on Neural Networks and Learning Systems 2篇、ACM Multimedia 16篇、IJCAI 13篇、AAAI 8篇、CVPR 4篇、ICCV 3篇、KDD 2篇、NIPS 2篇。申请国家发明专利12项、出版教材《人工智能导论：模型与算法》（高等教材出版社出版）一本。.项目组研究成果得到了学术界的肯定，如："Catching the Temporal Regions-of-Interest for Video Captioning"获得ACM Multimedia 2017最佳论文提名、“Pyramid Person Matching Network for Person Re-identification”获得Asia Conference on Machine Learning 2017(ACML) 最佳学生论文；参加微软研究院（MSR）第二届大规模“视频到语言”国际评测中获得第二名，并获得ACM Multimedia 2017的“Grand Challenge优秀奖”（Honorable Mention Award）；“层叠记忆网络”模型在ICCV 2017的“大规模视频描述与问答竞赛”（即LSMDC Challenge）中获得电影视频问答任务的第一名。.项目组参加由美国国家标准技术研究所（NIST）主办的国际知识库构建大赛（TAC KBP），2017年在中文、英文、西班牙文全部三种语言实体识别与链