面向监控视频大数据的视频图谱构建关键技术研究

Due to the fact that big data of surveillance video has special characteristics in volume, velocity and unstructured-form, the structuralization of surveillance video has become an urgent problem to be handled. However, no matter whether from scalability of their data model or efficiency of automatic extraction methods of structuralization, the existing methods are not applicable to big data scenario. To solve this problem, this project intends to use video graph to represent the information after structuralization and further investigate how to automatically construct the video graph with intelligent recognition methods. In view of the fact that the constructing of video graph is a huge job, for simplicity and without loss of generality, this project takes pedestrian as example to investigate the theory and technique of how to construct video graph specialized for big data scenario. First, use graph structure to represent the structuralized data and then develop the framework for guiding the structuralization process. Next, based on deep convolutional neural networks (CNN) and semantic hashing, we extract the relationship of same identity between two pedestrian objects across different videos over large scale dataset. Last, we adopt multi-task deep network to execute efficient human body parsing and its corresponding attribute annotating. It is worth noting that though the constructed video graph only considering pedestrian has shown to be a little bit simple in the aspect of scale, it can support the task of fast pedestrian retrieval based on content or semantics as well as intelligent analysis on pedestrian, which sufficiently indicates its value in terms of theory and application.

监控视频大数据体量大、增速快以及非结构特性，使得视频的结构化处理成为视频大数据分析应用亟待解决的问题。然而，无论是数据模型的可扩展性，还是结构化方法的效率，现有的方法都不适用大数据场景。为解决上述难题，本项目拟采用视频图谱来对解析后的数据进行表示，并采用自动化的智能识别方法构建视频图谱。鉴于视频图谱构建是一个庞大工程，为了便于表述，本项目拟以行人为例，紧扣大数据应用场景，开展视频图谱相关理论和技术研究。拟采用图数据模型来对解析后的监控视频数据进行建模，并给出视频图谱构建框架；结合深度结构的卷积神经网络和语义哈希理论，提出基于深度语义哈希的行人重识别技术，以实现跨视频行人身份关联；采用多任务深度网络流式结构，进行快速的人体分割和属性学习。需要强调的是，虽然只考虑行人对象的视频图谱结构上较为简单，但其可以支撑基于内容或语义的行人快速检索以及行人行为智能分析，充分展示视频图谱的理论和应用价值。

本项目面向监控视频大数据分析场景，提出一种自动化方式的监控视频大数据结构化解析方法，解析以后的数据采用视频图谱表示。主要研究内容包含：①面向监控视频大数据的视频图谱构建框架研究：设计一种图结构的数据模型来对结构化的数据进行表示，并对模型中涉及的对象、关系和属性进行定义；（2）深度结构的行人语义哈希特征提取研究，采用卷积神经网络设计一个端到端的深度结构语义哈希方法；（3）基于哈希技术的行人重识别研究，基于哈希特征，构建索引结构，以实现大数据环境下实现跨视频的行人重识别；（4）行人对象属性标注学习研究，设计合适的深度神经网络实现属性分类，采用高效的监督学习训练方法，保证在有限的训练样本、复杂环境和多样画质情况下，使模型达到高准确率、高鲁棒性和强泛化能力。在项目执行过程共发表论文伦17篇，其中SCI论文14篇，国际会议3篇，申请专利7项，软件著作权1项。培养的硕士13人，博士生4人，国际合作交流5次，其中邀请国外专家来访4次，项目负责人赴澳大利亚莫纳什大学和悉尼科技大学参访一次，联合培养博士生1名。本项目突出成果有：①在大规模高维数据检索方面，提出的RobustiQ算法在十亿级的公共基准数据集SIFT1B和DEEP1B实验结果表明，在保持同样准确性前提下，RobustiQ相比Facebook团队提出的Faiss算法能获得两到三倍的加速；②提出的人脸活体检测算法在CVPR2019人脸活体检测全球排名第三。本项目理论研究成果，具有很好应用前景，民用领域应用有：①视频图谱及深度人脸哈希检索算法已经用于新疆独山子项目的人脸快速识别和行人轨迹跟踪；②基于哈希技术的行人重识别已经用于青岛中车磁悬浮列车的智能旅服系统中，对车厢行人进行身份关联；在军事领域，提出面向监控视频大数据的图谱构建技术，在承担的中船重工第709所合作的高效数据质量管理系统中，用于对异构军事数据构建军事知识图谱，实现异构数据快速检索和访问，目前该系统用于NBZQ数据中心异构数据管理当中。