多视环境下基于变分水平集的场景流估计

Human-computer interaction and three-dimensional technology are one of the three themes of "Industry 4.0", and the key aspects of the industry intelligence. A core element of human-computer interaction is to acquire and analyze the motions of human and interactions between human and computers. Since scene flow is able to describe the three-dimensional motion field in detail, it is very significant to study the acquisition of scene flow. In this project, multiple depth cameras and color cameras are combined to estimation the scene flow which should be continuous and vivid. The deficiency of depth information and the existence of outlies can affect the completeness and continuity of the shape of three-dimensional object. Therefore, the fusion mechanism of multiple depth images are studied to obtain a continuous and complete shape of three-dimensional object. Further, a model for estimating dense scene flow will be proposed with the guidance of local rigid motion to reduce the complexity of computation and avoid errors: the segmentation of the three-dimensional object shape and the calculation of rigid motion parameters of segmented regions are studied, which can narrow the search space of scene flow estimation; then the dense and continuous scene flow is estimated by simulating the motion of three-dimensional object shape with the evolution of variational level set. The achievements of this project will be the dependence and data source of segmentation, tracking and behavior analysis in the three-dimensional scene, and can improve the ability to analyze and understand the scene in robot navigation, smart monitoring, and smart car etc.

人机交互是产业智能化的关键环节，其核心内容之一是获取分析人与机器的运动及交互行为，而场景流因能够细致地描绘三维场景的运动场，因而研究意义巨大。本课题拟综合多个深度、可见光摄像机的优点，研究多视环境下基于变分水平集的场景流获取框架，以获取连续、逼真的场景流，内容包括：针对深度图像中信息缺失、外点等问题，研究在深度和影像信息驱动下，基于水平集函数的多深度视图融合机制，以获得连续、完整的外形曲面。针对场景流估计中的计算量大且易出错问题，研究局部刚性运动指导下的全局场景流估计模型：通过局部区域属性一致性分割及刚性运动估计，缩小场景流估计的搜索空间，降低计算中的空间、时间复杂度；使用水平集函数演化模拟三维目标外形运动以实现连续的场景流的获取。本课题的成果可作为三维场景中的目标分割、跟踪和基于运动场的行为分析的依据和数据源；在机器人导航、智能监控和智能汽车等方面可显著提高其分析理解场景的能力。

产业智能化的发展对人机交互、场景理解的要求逐渐提高，利用视觉信息分析理解场景中的目标及其运动是其中一项重要内容。本课题研究了深度图像与可见光图像下的场景流估计。. 针对多视图像颜色不一致和深度图像空洞问题，提出了立体图像对协同本征分解模型和shading信息引导的深度图像修复方法。协同本征分解模型使立体图像对的Reflection分量在信息熵与对比度方面有所提高；shading信息引导的深度图像修复结果的峰值信噪比和平均结构相似性均高于同类方法。. 针对多视图像色差、光照及特征分布不均造成的运动估计不正确问题，提出了基于多视二维距离约束的三维运动估计方法。将已有三维目标外形与下一时刻的多视图像联合，通过在各视点缩小目标外形二维投影与目标silhouette的距离来估计三维运动参数。通过基于自行采集数据的刚性目标动态重建，验证了该方法的有效性。. 针对传感器不足及标定误差造成的信息缺失问题，提出了基于水平集演化的场景流估计框架。将三维目标的运动看作水平集函数的演化以获得连续、完整的场景流：初始化水平集函数，使其包围目标外形；构建目标运动前后的投影与多视图像的颜色一致性约束及与silhouette一致性约束；建立关于水平集函数的能量函数，通过计算演化速度得到场景流。通过估计结果的二维投影对多视silhouette的覆盖分析及视觉对比，验证了本框架的有效性。. 针对运动中的遮挡问题，提出了深度图像自动分层的场景流估计框架。该框架借助RGB图像指导对齐深度图像的初始分割；基于图像局部相似性或运动相似性合并初始分割完成深度图像分层；在运动前后颜色一致性、分层深度信息变化及RGB与深度图像边缘相关性等约束下，计算每层的2D运动和相应的深度变化，最终得到场景流。通过在Middlebury2003、 SRSF和RGBD等数据集的实验，本框架在视觉效果、均方根误差和平均角度误差等量化指标方面取得了较好的结果。. 本课题研究成果可用于场景的语义分割、分析，目标的检测与跟踪。在机器人导航、自动驾驶及三维数据的压缩等应用领域有着重大的应用前景。