基于深度视频的跨时空影像融合与沉浸式环境构建

With the announcement of HTC Vive, Virtual Reality is more and more popular and changing the world. However, it is very important how to integrate multiple spatial-temporal scenes to make people share this mixed world. This project aims to produce an integrating scene which are physically existing in different places, and form a visually mixed real scenes in an immersive way. The sensors are consisted of a few Kinect, which depth camera and image camera are actually stereo cameras with different sources. The depth videos and image videos are row data. With depth image enhancement and bi-layers of depth videos and the constraints learned from deep learning, the conditional compact structure are constructed to reduce the redundant data. In order to generate high quality images, deep learning is employed to find out the features in images and depth videos and obtain the prior, which was difficult to represent by any traditional constraint conditions. With registration of these spaces, the stereo images of virtual views are generated according to the view fields of eyes of a viewer on demand.

随着HTC Vive等虚拟现实穿戴式头盔和交互工具的发布，具有震撼力的虚拟现实技术正在深刻地影响世界。如何使身在不同物理空间的人自然地共享统一时空，是下一代虚拟现实技术改变人类社交和协同的重要技术。本项目旨在研究从多个现实场景中如何快速重构多视向虚拟视点的立体影像问题，形成跨时空场景的沉浸式融合画面，获得面对面交流的体验。由多个深度与纹理摄像头构成的异源立体摄像对，采集现实场景的原始数据，通过增强深度图像、时空注册和精细化的影像分层，快速形成动态场景的紧致重构，形成现实场景的多源影像的分层结构表达，确保影像的时空一致性。跨时空场景在时空注册的基础上进行场景的融合与重绘，按需生成特定视点的影像。更进一步，由深度与纹理影像构成的传感器，经过深度学习算法对画面特征的提取，形成对现实场景影像重构的约束条件，增强画面的流畅性、平滑性和立体感，实现具有沉浸感的跨时空融合效果。

本项目旨在研究跨时空动态场景融合技术中的关键技术问题，是未来远程会议、融入式远程呈现与未来办公室的共性基础。基于非结构化的多点深度视频和影像数据，通过计算进行影像解析与重构，实现跨时空动态场景时空一致性无缝融合与逼真再现。跨时空动态场景的融合本质上是对多个动态场景的光线进行结构化和重组。由深度视频和纹理图像采集器捕获的场景数据构成半结构化的数据，通过建立深度视频与纹理图像进行高精度的校准模型，实现了深度视频与纹理图像的子像素精度的配准；再通过深度视频的修补技术来弥补深度视频的采样缺失，最后采用基于深度学习的深度图超分辨率方法，生成高度清晰的深度图像，为高精度的视频重绘奠定了基础。.. 由人体头部与物体对象的三维跟踪也构成高效的结构化数据，提出了基于边缘一致性的头部姿态跟踪算法，准确估计头部的姿态。由于物体在实际应用场景中是重要的关注对象，因此深入研究了基于模板的三维物体跟踪技术，提出了一系列物体尤其是无纹理物体的三维实时跟踪方法，包括基于边缘距离场和基于边缘置信度的三维跟踪方法、基于区域颜色置信度的跟踪方法等。其中，基于边缘的算法在智能手机上达到强实时，是目前已知最快的算法；基于区域的方法实现了在难度最高的RBOT数据集上的最佳精度，正在构建一个新的三维模板跟踪的数据集并将不断完善和扩展。由于三维跟踪本质上实现了动态场景空间的重构，为跨时空场景融合奠定了基础。.. 在场景紧致表达方面，通过稀疏表示理论，生成目标基于影像的既具有完整性又具有紧凑性的表达，从而确保了目标跟踪的鲁棒性。在场景的重绘方面，采用深度对抗网络研究对人脸图像进行修改的探索性研究。由于深度对抗网络在高层语义理解的能力很强，对人脸图像在重绘上具有更好的智能性，是更具特色和潜力的方向。开发了一个基于眼动跟踪的穿透式屏幕，将虚拟场景或远程场景与现实场景无缝融合。