融合视觉特性的基于深度图像自由视点绘制技术研究

The project researches on the key algorithms in DIBR (depth image based rendering) combined with visual characteristics and takes the object and subject as a whole to satisfy requirement of theory and utilization in free view video systems. The usage of free view video in 3DTV/FTV is its basic background and the quality improvement of the free view rendering is its basic goal.Starting with the establishment of human vision attention model,the segmentation-based depth estimation alogrithm is designed to improve the disparity accuracy in vision attention region, and the depth values estimated are more suitalbe to human subjective consciousness. Based on the model of human vision perception on depth features, the adaptive filter method for depth enhancement is presented , which is processed in multi-scale levels using the multi-scale theroy, at the same time interview and time frames coherences are enforced, which makes the optimized results more suitbale to the human visual characteristics. By introducing the model of human vision perception on depth features into free view rendering algorithm, the project designs the 3D warping and adaptive multi-view blending method and the texture synthesis based image inpainting method to fill in the void regions effectively, which realizes the goal of improvement the subjective visual quality of view rendering. The project attempts to the method of combination the subjective experiments with some image processing technologies and fends to design a series of new stable and effective and practical technologies from the perspective of outstanding the subjective visual characteristics, which promotes the realization of free view video.

本项目以自由视点视频在3DTV/FTV中的应用为基本背景，以提高自由视点绘制质量为根本目标，探索融合视觉特性的DIBR关键算法，把客体和主体视为一个整体，使之基本满足在自由视点视频系统中理论和应用的需要。从建立人眼视觉关注模型入手，设计基于图像分割的深度估计算法，提高关注区域视差精度，使深度估计结果更符合人主观意识；通过建立人眼视觉感知深度特征模型，提出一种进行深度增强的自适应滤波方法，利用多尺度理论在多尺度层上处理，满足视点间和时间一致性约束条件，从而更适应人眼视觉特性；把视觉感知深度特征模型引入自由视点绘制算法中，设计3D变换和多视点自适应合并方法，提出基于纹理合成的图像修复算法实现空洞的有效填补，达到提高视点绘制主观效果的目的。本项目尝试将人的主观实验和多种图像处理技术相结合的方法，力争从突出主观视觉特性的角度设计一系列稳定、有效、实用的新技术，为自由视点视频的实用化起到推动作用。

由于多视点、允许用户随意改变观看视角、体验三维立体效果，自由视点视频成为下一代的数字视频发展方向，其中自由视点绘制是其关键技术。人眼视觉特性、图像本身特性是研究中必须考虑的因素，也是难点和热点问题；基于深度图像的自由视点绘制是降低图像冗余、减少数据量新的研究方向。本项目以此为切入点，研究融合人眼视觉特性的深度估计、增强及绘制方法，以及相关的图像去噪、分割等预处理方法。.项目研究了图像的多尺度几何分析解析表达理论、融合人眼视觉特性的深度估计和增强理论、以及基于深度图像的自由视点绘制理论。在研期间取得主要研究成果包括：根据图像多尺度几何变换域的多方向、各向异性及能量聚类特性，提出一种自适应方向窗萎缩阈值的图像去噪算法，能够自适应于各子带分解方向，有效解决含噪信号的复原问题；针对含噪声图像，提出一种基于近似测地距离和边界加权重心Voronoi图划分能量模型的图像分割方法，有效解决了含噪图像的分割问题；对图像分割进行视差平面拟合，构建多尺度非线性结构张量及基于结构张量距离的权值，引入全局匹配方法，有效提高了多视点深度估计精度；利用关注区域和低级特征对图像表示间的映射关系，建立人眼视觉特性模型，基于该模型提取图像中的关注区域，提出多策略深度修复方法；通过施加空间-时间一致性约束条件，把基于线性滤波的深度图像增强方法，推广深度视频，有效提高了主动或被动方法获取的深度精度；建立新的约束条件，利用非刚性仿射变换对模板网格子区域进行优化，以逼近新视点输入网格，有效提高了人脸表情绘制和跟踪的正确性和速度。.在研期间课题组在国内外重要期刊和会议发表学术论文9篇，申请专利3项，软件著作权1项，获得科研奖励2项。这些成果主要对丰富深度处理及自由视点绘制理论有一定的科学价值。同时，对研究人眼视觉与深度处理的融合、基于深度特征的应用有一定的贡献。