面向三维数字视频的视觉注意力模型及其应用研究

With the rapid development of stereoscopic imaging and display technologies, perceptual stereoscopic multimedia processing methods have attracted much attention in the research area of multimedia processing. These research works aim to obtain the analysis results which are consistent with those from human visual perception by using limited computational resources on visual saliency information. This project will focus on the fundamental problems of stereoscopic video analysis. Through investigating the factors influencing stereoscopic visual attention, we construct the influencing mechanisms of different visual features on stereoscopic visual attention. Then the visual features are extracted for feature perception models of stereoscopic video. According to Gestalt perception theory, we will investigate the fusion mechanism for visual attention from different visual features and build the feature fusion model to design the stereoscopic saliency detection model. Based on the proposed stereoscopic saliency detection model, we will design a stereoscopic video retargeting algorithm. In sum, this project will investigate into the theory and methodology of visual attention modeling for stereoscopic video, which can be used to extract salient regions of stereoscopic video for various stereoscopic video processing applications; in addition, it will also propose a stereoscopic video retargeting framework based on the stereoscopic visual attention model, which can provide the key technical and theoretical support for other kinds of stereoscopic video processing applications based on visual attention models.

随着三维成像和显示技术的飞速发展，基于视觉感知机理的三维数字视频分析技术已成为多媒体处理领域的研究热点，其特点在于使用有限的计算资源分析人眼关注的视觉信息并获得符合人类认知的分析结果。本项目针对三维数字视频分析技术中存在的共性基础问题，通过研究影响三维视觉注意力的因素及其作用方式，建立不同视觉特征对三维视觉注意力的影响机理，提取三维视频的不同视觉特征并研究相应视觉特征感知模型；根据Gestalt视觉感知理论深入研究三维视觉特征融合机理并建立视觉特征融合模型，以构建最终的三维视觉注意力模型；同时基于构建的三维视觉注意力模型设计智能适配显示算法。本项目的研究将形成一套面向三维数字视频的视觉注意力建模理论与方法，为各类三维数字视频处理应用提供基本的视觉显著信息表达与提取方法；同时提供基于视觉注意力模型的三维数字视频智能适配显示方法的应用框架，为三维数字视频处理及应用提供关键技术与理论支持。

三维数字视频显著检测及应用对于各类三维视频处理应用具有重要意义，本项目在前期的研究基础上，主要从影响三维视觉注意力的因素及作用方式、三维视觉注意力建模、三维视频智能适配显示研究等几个方面展开深入研究，并提出一系列面向三维数字视频的视觉注意力建模理论与方法。项目的主要创新工作包括：（1）深入理解影响三维视觉注意力的因素以及作用方式，开展针对视觉感知的眼动跟踪主观实验，构建三维视频眼动跟踪数据库；（2）通过提取三维数字视频帧的低层级特征（亮度、颜色、纹理和深度），计算低层级特征的特征对比度以计算空间显著图，另外，通过三维视频帧提取运动特征计算时间显著性图；（3）基于视觉心理学理论估计视觉特征感知的不确定性，建立基于人类视觉感知机理的特征图融合模型，提出基于格式塔心理学理论的三维视频显著检测方法；（4）针对三维视频大数据，深入研究三维视觉注意力的作用机制，提出基于多组全卷积神经网络的三维视频显著检测方法；（5）完善三维数字视频特征表达与提取算法，建立面向三维数字视频的视觉注意力神经网络框架，提出基于3D卷积神经网络的三维视频显著检测方法；（6）深入探究人类视觉系统对三维数字视频智能适配显示过程中的内容失真感知过程，提出基于感知相似性度量的多重算子图像重定向优化计算模型；（7）基于三维视觉注意力建模研究成果，构建三维重定向算子，提出基于显著性检测的三维图像重定向方法。本项目提出一套面向三维数字视频的视觉注意力建模理论与方法，将为各类三维数字视频处理应用提供基本的视觉显著信息表达与提取方法。同时，所提出的基于视觉注意力的三维图像智能适配显示方法的应用框架，将为三维数字视频处理及应用提供关键技术和理论支持，推动三维视觉信息感知、处理和应用的发展。