基于深度学习的多源协同视觉显著性检测模型研究

In the Intelligent video surveillance scene, more and more cameras appear around us. Realizing fast detection of moving objects against massive “Spatial Blind Area” shows to be of considerably realistic importance on anti-terrorism, public security and safe-city construction. Nowadays, most existing visual saliency measurements are focused on a single image, while those methods focused on video sequence have not been extensively studied. Besides, due to the illumination conditions and parameter differences of multiple cameras under circumstances of multi-camera videos, there will be non-negligible differences among different video scenes for the same moving object, which leads to the consequence that their visual saliency detection results cannot represent the global saliency of the current visual scene. In this project, deep learning, graph theory and image sparse representation are introduced into co-saliency measurement of multi-camera videos, making breakthroughs on several key problems of existing visual saliency detection algorithms, thus to improve the accuracy of visual saliency measurements and provide supports for the establishment of intelligent surveillance video system. Moreover, to evaluate the visual saliency measure model for multi-camera videos, plenty of cross-video test sequences and corresponding ground-truth saliency annotation graphs/eye-fixation data sets are provided in the project as well.

在智能视频监控场景下，越来越多的摄像头出现在人们的周围，针对大量的“空间盲区域”环境实现监控运动对象快速检测对反恐、公共安防及平安城市的建设有着极为现实的意义。当前，大多数视觉显著性度量都是以单幅图像为研究对象，基于视频对象的显著性检测研究并没有得到广泛研究。此外，在多摄像头的视频场景下，由于跨摄像机的影响，光照条件、摄像机参数的不同，这会使得同一运动物体在不同的视频场景下出现巨大差异，从而导致它们的视觉显著性度量结果无法反映当前视觉场景下的全局显著性。本项目将深度学习、图论和图像稀疏表示等技术引入多源视频的协同视觉显著性度量中，在现有视觉显著性度量算法存在的几个关键问题上取得突破，提高视觉显著性度量的准确度，为建立智能监控视频系统提供支撑。另外，为了评价多源视频的视觉显著性度量模型，本项目还将提供更为丰富的跨摄像机的测试视频和相应Ground-truth显著性标注图/眼动凝视数据。

视觉显著性作为智能视频监控、视频分析的关键技术之一，逐渐引起研究者的关注，被广泛地应用于目标识别、目标分割以及图像检索等经典问题中，成为计算机视觉领域中最热门的研究课题。由于当前多源多视角的智能视频监控得到极大地推广和应用，图像、视频资源也变得越来越丰富，海量的图像、视频数据也给图像理解、识别、检索、视频摘要、目标跟踪等系统的执行效率带来挑战。因此，针对监控视频的多源协同视觉显著性度量成为本项目的研究重点。本课题组将深度学习、图论、图像稀疏表示等技术引入多源协同视觉显著性检测计算模型中，研究以下问题（a）图像、视频数据的基本特征表示问题；（b）基于深度神经网络的特征学习问题；（c）视觉显著性、注意力模型与深度神经网络结合及应用问题；（d）基于稀疏表示的多源协同视觉显著性/注意力模型度量和应用问题。.项目组达到了本项目的预期目标，取得的主要研究成果包括：（1）在知识产权方面：发表38篇论文，其中已经被SCI检索的有10篇，SCI待检索1篇，EI检索的有27篇，超过任务书中总共发表12-15篇论文的指标要求；（2）申请发明专利15项；（3）在人才培养方面，培养图像/视频处理及其计算机视觉领域里具有较高研究能力的博士研究生3名，硕士研究生18名；（4）在成果转化方面，与广东启迪图卫科技股份有限公司、国家广播电影电视总局广播科学研究院、北京牡丹电子集团有限责任公司数字电视技术中心等针对研究内容做了进一步合作，产生了一定规模的经济效益和社会效益。