智能视频监控中图像超分辨率重建关键技术研究

The intelligent video surveillance is the current research hot spot and difficulty in the field of computer vision. Because the monitoring objects and the equipment is usually far distance, the image obtained is often a low resolution image, which is blurred and noisy. Therefore, it is not convenient for subsequent processing of the monitoring system. Based on our preliminary studies, a novel object-based super-resolution (SR) reconstruction scheme for video monitoring system is proposed in this project. Then, some key techniques of the scheme are further investigated as the following. Firstly, in order to overcome the incomplete object detection and large computational cost problem in the situation of complicated environment, an object detection method that is based on mixed background modeling is presented. Secondly, a cepstrum analysis based hybrid blur kernel estimation method is put forward, which is used to resolve the motion blur and defocus blur problem of the detected object. Thirdly, considering the spatial structure information a new field of expert (FoE) model is proposed. Then, a video object-based SR reconstruction method is developed by combing the FoE model and the MAP reconstruction algorithm. Finally, based on the characteristics of human vision system, a new reconstructed image quality assessment method is introduced. The research of this project will provide new ideas and new techniques for video surveillance images SR reconstruction and its results can effectively improve the image quality of video surveillance and the performance of monitoring system. Therefore, the study of this project on video surveillance will play an important role in public security, traffic management, etc.

智能视频监控是当前计算机视觉领域中的研究热点和难点。由于监控对象和监控设备之间的距离通常较远，得到的图像往往是模糊、含噪声的低分辨率图像，不利于监控系统的后续处理。本项目在前期研究基础上，提出一种基于对象的视频监控图像超分辨率(SR)重建系统方案，并围绕该方案中的关键技术进行如下研究：首先针对复杂环境下检测目标不全及计算代价较大的问题，研究基于混合背景建模的目标检测方法；其次对检测出的目标对象存在的运动模糊和散焦模糊问题，提出基于倒频谱分析的混合模糊核估计方法；然后构建一种基于空间结构信息的专家场模型，并结合MAP重建算法，提出一种基于视频对象的SR重建方法；最后基于人类视觉系统特性，研究一种新的重建图像质量评价方案。本项目的研究将为视频监控图像的SR重建提供新的研究思路和方法，其结果将进一步提高视频监控图像的质量以及监控系统的性能，有助于视频监控在公共安全、交通管理等领域发挥重要作用。

智能视频监控是当前计算机视觉领域中的研究热点和难点。由于监控对象和监控设备之间的距离通常较远，得到的图像往往是模糊、含噪声的低分辨率图像，不利于监控系统的后续处理。本项目在前期研究基础上，提出一系列视频和图像超分辨率重建方法，并提出一种超分辨率重建图像质量评价算法。项目的主要创新工作包含：(1) 利用引导滤波在边缘保留平滑方面的独特优势，设计出基于引导滤波的边缘保留平滑正则项，并且结合非局部稀疏表示方法在图像纹理恢复上的优势，提出一种基于边缘保留平滑正则项的图像超分辨率重建方法；(2) 多方向的可控滤波器和全变分方法相结合可有效检测多方向的边缘信息，将其作为正则项引入到超分辨率重建框架中，提出一种基于可控方向全变分正则项的超分辨率重建方法；(3) 针对传统专家场(FoE)模型在图像去噪过程中容易模糊边缘和纹理的缺陷，将空间结构信息引入到该模型中提出一种基于空间信息加权的FoE模型，并将其作为正则化项引入到基于最大后验概率的超分辨率图像重建中，构建出一种新的超分辨率重建方法；(4) 将梯度矢量流(GVF)和图像梯度(GF)的合力场代替图像梯度的冲击滤波器(ADSF)，可以进行图像去噪和图像增强，将其作为正则化项引入到超分辨图像重建中，提出一种基于GVF-GF-ADSF的超分辨图像重建新方法；(5) 提出一种基于极限学习机和人眼视觉系统的图像融合方法，在此基础上研究了一种基于图像融合技术的超分辨率重建方法；最后提出了一种新的半参考的超分辨率重建图像的质量评价算法。本项目的研究将为视频监控图像的SR重建提供新的研究思路和方法，其结果将进一步提高视频监控图像的质量以及监控系统的性能，有助于视频监控在公共安全、交通管理等领域发挥重要作用。就上述内容，本项目取得了一系列重要成果，共发表学术论文25篇，其中21篇被SCI收录，4篇被EI收录。