基于单目图像的变形体三维重建研究

基于单目图像的变形体三维重建是计算机视觉的基础问题，其研究成果在视觉监控、特效制作、手术导航等领域有着广泛的应用前景。变形体模型通常具有很高的自由度，因此由二维图像恢复变形体的三维结构通常是一个在高维空间的严重非线性问题，具有很高的空间歧义性。现有算法通过添加各类约束消除歧义，对于无遮挡且纹理丰富的变形体比较有效，但难以处理变形体表面缺乏纹理或发生遮挡等情况，同时模型维数的确定尚无有效策略。为克服现有算法不足，本课题拟对单目变形体重建中缺乏纹理、遮挡、模型维数这三个核心问题进行研究：1）针对缺乏纹理问题，研究结合明暗、边缘等多种图像特征的鲁棒重建算法；2）针对遮挡问题，研究结合形变时空特性的遮挡和自遮挡处理机制；3）针对模型维数确定的问题，研究基于重建结果精度、空间歧义性和计算复杂度的模型维数动态调整策略。本课题研究是对变形体三维重建领域理论和方法的丰富，有助于推动这一领域成果的实际应用。

基于单目图像的变形体三维重建是一个在高维空间的严重非线性问题，具有很高的空间歧义性。本课题针对单目变形体重建中缺乏纹理、遮挡、模型维数这三个核心问题进行研究，取得了如下研究成果：1）提出了基于单目单视图的变形体三维重建算法。在变形体重建过程中，通过在无穷大范数意义下将单目变形体重建问题描述为一个序列线性规划问题，我们将变形体三维重建转化为一个在较低维空间的序列线性规划问题，并通过序列求解逼近全局最优解；2）提出了基于线性规划的变形体快速三维重建策略。在变形体优化过程中，我们使用Dinkelbach算法估计目标函数的梯度值，并由梯度下降法计算误差上界的更新步长。为进一步提高收敛速度，我们使用Gugat算法对最小误差上界的求解进行加速；3）提出了基于Patch的大场景高精度三维重建方法。在大场景深度图计算过程中，我们采用基于Patch的归一化互相关衡量匹配程度，并通过邻域传播和随即扰动提高计算鲁棒性和计算精度；4）提出了大场景三维重建中邻域图像的最优选择方法。在大场景重建中，如何从大量的图像中选择最优的邻域图像组对于深度图计算的完整性和准确度具有重要影响。针对这一问题，我们提出了一种基于视角、尺度、覆盖度定量评估的最优邻域图像组选择算法。本课题研究丰富了三维重建领域的理论和方法，有助于推动这一领域成果的实际应用。