基于主动视觉注意的网络视频感知质量评估方法研究

The growing popularity of network video increases the end users' demand for higher quality videos. However, in many networked video applications, the videos may be not only distorted by the quantization in the compression process, but also be corrupted during transmission due to packet losses. Hence, being able to quantify the perceptual quality of network video is very important for network service design and provision. This project aims at objectively evaluating the perceptual quality of network video based on the human vision system. According to the analysis of visual features for different distorted videos, we first extract the low-level visual saliency information for network video. With the pre-visual information, we then propose an active visual attention based objective quality assessment. Moreover, we study the spatial-temporal visual features of long video sequences containing multiple packet losses, and develop an effective quality assessment framework for objective perceptual quality evaluation. This project brings us a new prospect of visual selective attention based objective quality assessment for networked impaired video. It also provides the new theory and methodology for applications such as intelligent video provision system, digital video rights protection and etc.

网络视频已经成为目前最为重要的网络服务内容，用户在获取信息的同时也越来越追求高质量视觉效果。然而网络传输环境下的视频会遭受到量化编码、网络丢包等带来的质量失真，因此，网络视频的感知质量评估对于网络服务的设计和监控具有重要的意义。本项目以研究符合视觉感知特性的网络视频客观质量评估方法为目标，通过揭示人眼对网络视频感知质量的认知规律，分析遭受多种网络损伤的失真视频的视觉特征，建立网络视频的初级视觉注意信息计算模型；提出先验视觉信息指导下的主动视觉注意感知质量评估方法；实现包含多种失真、长视频序列的多特征融合综合评估方法；构建满足网络视频实时性要求的高效的客观质量评估体系。本项目为视频的感知质量评估研究开辟了新的思路，为人类视觉感知信息在智能视频监控，数字视频版权保护等领域的应用和研究提供新的理论方法和技术手段。

本项目在项目研究的过程中，依据项目申请书的研究内容依次开展了相关的研究，并取得了相应的研究成果。在研究内容上，首先实现了自底向上快速的视觉显著注意区域检测，构建了适合于网络视频的高效的视觉注意信息计算模型；其次，将基于空间的视觉注意模型扩展到视频时间域，提出了时-空域显著事件计算模型；在此基础上提出基于时-空域主动视觉感知的质量评估方法；通过分析包含多种失真、长视频序列的质量影响因素，最终构建融合多失真类型长视频序列，并满足网络视频实时性要求的客观质量评估模型。通过2012年12月到2015年12月这三年来的努力，项目组的科研工作完成了原定的指标。在国内、国际学术刊物上发表论文10篇，其中EI检索的期刊及国际会议9篇,国内核心期刊1篇。赴美国参加国际会议1次（ICME2013）；赴台湾参加国际会议1次（ICICS 2013），并在大会上做口头报告，赴成都参加国际会议1次（ICME2014），并在大会上做口头报告；申请发明专利2项；开展重庆市自然科学基金2项；培养青年教师博士一名，研究生3名；项目组两位成员获得国家留学基金委博士后项目资助。项目为视觉感知质量评估研究提供了新的思路，其研究成果为在实时环境下构建符合人眼视觉感知的视频质量评估方法提供了有效地理论支撑和技术手段。