物联网环境下视频大数据处理平台设计理论与关键技术研究

With the extensive deployment and application of network video monitoring systems, the demand of efficiently processing and mining the big monitoring video data is increasingly urgent. Cloud computing can provide an effective means for the big data processing. However, because of the large amount of video data, the strong content correlation of monitoring video data, the imbalance of the information amount of video stream, there are the challenges that include the dissatisfied realtime performance of video processing, the low resource utilization of video processing platform, and the low throughput of video analysis data. In this project, jointly considering the characteristics of video information processing and big data technologies, we focus on the design theory and the key technologies of the big video data processing platform in Internet of Things. Firstly, we design a content based hierarchical management mode for big video data. Secondly, we propose a batch processing task scheduling approach for the correlated video data. Thirdly, we construct a workflow reconstruction based stream computing engine. Finally, we establish a verification platform for big video data processing. On the one hand, this project aims to obtain the original research results on the basic theory and the key technologies of big video data. On the other hand, the results of this project can be applied to many areas, such as city management, public security, and intelligent traffic, and the social and economic benefits are significant.

随着网络视频监测系统的广泛部署和应用，对监测视频大数据的高效处理和挖掘的需求日益迫切。虽然云计算能够为解决大数据的高效处理问题提供有效的手段，但由于监测视频的数据量大、内容相关性强、数据流信息量分布不均衡等特点，造成了视频大数据处理的实时性差、视频处理平台的资源利用率低、视频分析数据的吞吐量低等挑战。本项目联合考虑视频信息处理和大数据技术的特点，研究物联网环境下视频大数据处理平台设计理论和关键技术，具体内容包括：（1）基于内容的视频大数据分级管理；（2）关联性视频大数据批处理任务调度；（3）基于工作流重构的视频大数据流式计算；（4）物联网环境下视频大数据处理验证平台。通过本项目的研究，一方面在视频大数据处理平台基础理论和关键技术方面取得原创性的科研成果；另一方面，本项目的成果可应用于城市管理、公共安全、智能交通等多个领域，社会效益和经济效益显著。

本项目从监控视频大数据的分布式管理、分布式离线批处理、分布式流式计算、内容分析技术、平台体系架构设计、实现与应用5个方面开展研究，取得多项创新性成果，包括：面向视频监控的云存储体系架构；监控视频数据收集缓存机制；监控视频元数据组织与索引机制；监控视频离线分布式处理平台中主动数据放置方法；面向视频分析的离线分布式处理中间件；大规模交通监控视频元数据分析与校正方法；视频数据中心实时分布式处理任务管理与并发任务调度机制；基于Spark的高效在线监控视频处理框架；视频监控中基于组合特征的人员重识别方法；基于活动事件时空重组的监控视频浓缩摘要方法；监控视频云计算平台资源预测方法；监控视频云计算平台多维资源分配算法；异构视频监控系统互连机制；监控视频云计算平台系统与典型范应用。本项目组在国内外相关学术期刊和会议上发表学术论文12篇，包括云计算和大数据领域高水平国际学术会议IEEE Cloud2015（录用率18%）、IEEE BigData（录用率18%）、IEEE Cloud2016（录用率16.7%）论文3篇，其中EI检索论文10篇；申请中国发明专利11项；获得软件著作权1项；在国际标准化组织国际电信联盟（ITU-T）主持立项国际标准5项，其中2项标准已发布；研制一套监控视频云计算平台系统“睿视云资源管理系统”，该系统已在福建电信公司试点应用；培养相关领域研究生9名。项目负责人张海涛副教授获“工信部2014-2015年度国际电信联盟标准化工作优秀个人奖”。