基于多特征融合的二维视频立体化精确深度信息提取方法研究

立体视频显示给人们带来新的视觉革命，在科研、医疗、娱乐等领域有广阔的应用前景。二维视频立体化是解决目前立体视频内容短缺的重要手段，也是当前的研究热点。深度图的提取是二维视频立体化的关键技术，针对目前技术提取的深度信息精度较低的问题，本课题研究基于多特征融合的二维视频立体化精确深度信息提取方法，主要包括：（1）基于运动分析、图像匹配和边缘修正的空间深度图提取，提高深度信息的空间精度；（2）基于场景切换检测、时域滤波优化的时间深度提提取，提高深度信息的时间精度；（3）基于图像特征和人眼视觉特性的深度建模，以及基于内容自适应的多特征深信息度融合机制，提高深度提取的可靠性和鲁棒性；最终形成二维视频精确深度提取算法模型，构建全自动二维视频立体化实物演示平台。

本项目研究基于多特征融合的二维视频立体化过程中的精确深度信息提取方法，旨在通过单路二维视频的信息提取其相应深度信息，进而实现自动的二维视频三维化。主要研究内容包括空间域精确深度信息提取方法，时间域精确深度信息提取方法，以及多特征深度信息的融合模型。.1、空间域精确深度信息提取方法研究.研究内容包括：1）建立表达形变、缩放、平移等运动的匹配模型，引入了基于CPF匹配的深度估计方法，获得高精度像素级运动矢量场，可有效反映运动物体的深度信息；2）提出采用CPF匹配和RANSAC相结合的全局运动估计方法，有效消除全局运动对深度估计的影响；3）在通过CPF匹配获取初始深度后，采用了边缘检测，并利用Floodfill算法提取边缘点的同质点，进而对边缘点周围的像素进行深度修正，消除CPF匹配带来的边缘模糊。.2、时间域精确深度信息提取方法.研究内容包括：1）场景切换导致运动匹配失效，也导致深度信息突变和估计失效。提出基于灰度图帧间差和直方图帧间差相结合的场景切换检测算法，有效提高查全率和查准率；2）为了保持物体深度信息在时间上的一致性。在CPF中采用了双向匹配以消除单向匹配的不平衡，提出基于高斯滤波的时间域深度滤波方法，提高了深度信息的时间连续性。.3、多特征深度信息融合算法.研究内容包括：1）研究了基于图像特征（颜色、亮度等）和MRF统计模型相结合的静态图像深度估计算法，可在场景切换或者背景深度提取中，有效弥补运动估计所带来的深度信息不准确问题；2）将基于MRF静态图像的深度信息与基于CPF匹配处理的深度信息相结合，估计最终深度，并采用DIBR方法生成左右视图像。.项目研究工作揭示了在二维视频转三维中，通过CPF滤波匹配，结合边缘修正、时域深度滤波等手段，利用运动信息可获得运动物体较为准确的相对深度信息；尽管场景切换算法能够检测出场景变化，但是对于新场景图片以及图像的背景部分，要获得准确的深度信息具有较大难度；通过MRF模型和统计训练的方法，可获得一些典型静态图片的深度信息，但仍然有较大局限性。.本项目在2D视频深度信息估计方面，引入了CPF滤波匹配，并且对CPF算法进行了边缘修正、时域深度滤波等改进，对于2D视频转3D领域的研究工作具有一定的参考价值。.项目工作基本按照计划进行，项目经费使用合理。