深度一致性和视觉舒适度保持的3D媒体合成方法研究

3D media composition, which refers to using existing stereo images and videos to synthesize new stereo content, is a basic operation in 3D media editing and processing, and has extensive applications in post-production of 3D film and TV, interactive entertainment, virtual reality etc. The main difficulties lie in: the consistency of stereo object extraction, the depth consistency and color compatibility in stereo composition, visual comfort driven automatic adjustment of 3D media. This project aims at solving the difficulties in 3D media composition, and the main work includes: 1. We plan to study the feature consistency and depth layering of the two views in 3D media, and implement accurate extraction and rough selection of stereo objects based on simple interactions. 2. We plan to study the hybrid gradient domain and patch synthesis method to composite 3D media while preserving color and depth consistency. 3. We plan to study important metrics that affect visual comfort, and disparity optimization based on these metric constraints, to automatically adjust the visual comfort of the 3D media, and meet the demand of diversified stereo perception. Through the research of this project, it is expected to be able to achieve high quality stereo image and video composition, and research of the key scientific problems can benefit a series of problems in 3D media editing and processing.

3D媒体合成是指利用已有立体图像和视频合成出新的立体内容，是3D媒体编辑处理的基础操作，在立体影视后期制作、互动娱乐、虚拟现实等领域有着广泛应用，其主要难点在于：立体对象提取的一致性对应，立体合成的深度颜色一致协调，保持视觉舒适度的3D媒体自动调整。本项目针对3D媒体合成的难点问题展开研究，具体包括：1、拟研究左右视图特征一致性对应和深度分层方法，实现基于简单交互的立体对象准确提取和粗略选择。2、拟研究基于混合梯度域和块合成的方法,实现颜色深度一致协调的3D媒体高质量合成。3、拟研究影响3D媒体视觉舒适性的重要度量，以及基于该度量约束的视差优化，实现3D媒体视觉舒适度的自动调整，并满足用户的多样化立体感知需求。通过本项目的研究，有望实现高质量的立体图像和视频合成，其关键科学问题的研究对3D媒体编辑处理的一系列问题的解决有重要借鉴意义。

随着3D媒体的兴起，3D图像和视频的高效编辑和处理有着巨大需求，其主要难点在于：难以获取准确连续的视差、难以保证左右视图的一致性、难以满足人体视觉舒适性。 本项目以3D媒体为研究对象，研究3D媒体合成处理方法，重点解决立体图像合成编辑中的特征一致性对应、深度颜色一致性、视觉舒适度保持等难点问题，进一步提升3D媒体合成的质量，实现3D媒体资源的高效利用，并为其他媒体编辑处理中问题的解决提供新的思路。主要研究内容和成果包括：.（1）提出了基于内容注意和分段矩形边界保持的图像拼接方法，解决了先前图像拼接的不规则边界问题，提出的全局优化和分段矩形边界，能够生成边界规则的全景拼接结果，减少由矩形框切割引起的图像内容缺失，增强全景拼接的广角效果。.（2）基于以上图像拼接的研究成果，进一步提出了矩形边界保持的立体图像拼接，能够进一步优化立体拼接结果，并有效解决立体拼接的边界不规则问题。提出的算法能够快速生成高质量的立体全景图，可以应用于360度全景立体图像拼接，并支持人体视觉注意的视差调整。.（3）提出了基于SAD和改进CENSUS变换的双目立体匹配，解决图像噪声干扰和复杂场景导致的匹配精度低的问题；为提高视差计算的准确率，提出了基于改进的双边滤波的视差图后处理办法，并进行选择性滤波。基于该立体匹配方法，提出了一种基于视差图的自适应背景建模方法，实现基于立体深度和颜色的视频监控，并成功应用于教室环境下的学生行为检测。.（4）提出了基于全局优化的立体视频联合去抖和拼接方法，解决立体视频去抖和拼接的非线性优化问题，并在全局优化中综合考虑人体视觉舒适度约束。该方法首次解决了立体视频的拼接问题，并为立体全景视频的合成编辑的实现提供了重要理论支持。.本项目的以上研究成果均发表在高质量的国际期刊和会议上，包括CCF A类和C类期刊，达到了项目的预期目标，并为今后进一步深入研究打下了坚实基础。