基于动态基元特征的场景流计算

Scene flow, which characterizes the structure and motion of the three-dimensional dynamic scene, now emerges as a revolution of vision-based motion estimation from 2D to 3D. It is also one of the most promising direction in three-dimensional vision. Robustness, accuracy and temporal coherence are the key issues in existing scene flow computation methods. In the project, we proposed a new methodology for the computation of dense, non-rigid scene flow. The image primitive vector representation based on local filter bank is proposed to improve robustness against illumination changes and other influencing factors, and dynamic coefficients are introduced in the representation to model temporal coherence of the feature vector. Joint iterative computation scheme with multiple image frames is used to improve temporal consistencies of feature and motion fields. In implementation phase, the multi-resolution warping method coupled with nested numeric iterations are exploited together with sparse representation to improve computational efficiency. The research will produce leading results in the field, and provide a novel line for scene flow estimation, therefore prove better practicability than existing methods.

场景流用于刻画三维动态场景的结构和运动，是视觉运动估计由二维迈向三维的革命性演进，也是三维视觉研究中最有前景的新兴方向之一。稳健性、精度和时间一致性是现有场景流计算中的关键问题。项目提出一类新的方法，用于稠密、非刚性场景流计算，其本质创新在于建立完整的基于动态基元特征的场景流计算模型。提出基于局部滤波器组的基元特征向量描述改善方法对光照变化等影响因素的稳健性，将动态系数引入基元特征中以建模特征向量的时间相关性，通过多帧联合迭代计算改善特征及运动场的时间一致性并提高精度，实现阶段通过多分辨率嵌套数值迭代配准方法和稀疏表示提高计算效率。项目可望产生国际领先的研究结果，同时为场景流计算开辟一条新的思路，并从根本上提高现有方法的实用性。

场景流和光流用于刻画动态场景的运动和结构，其计算是计算机视觉的基本问题之一。我们按计划对这一问题开展研究，围绕项目中的动态基元特征选取、基于上述特征的变分光流/场景流计算方法及数值实现、考虑多帧图像时间一致性的计算方法、以及算法度量与评测等研究内容进行了深入研究；建立了动态基元模型，完成基于动态基元的变分光流/场景流变分问题描述，考虑多帧时间一致性下及多分辨率计算方式下的方法扩展，基于上述描述的解推导过程及迭代数值实现等相关工作。根据现有的标准Middlebury数据集及评价指标予以扩展，加入更多不同真实场景下的图像序列，以对现有算法进行更为准确的评测。结果表明，提出方法具有更高的稳健性和准确性。同时，由于深度学习技术在近年来的迅速发展，将上述方法与深度学习技术结合并应用于目标跟踪技术，以改善现有方法性能。基于深度卷积网络通过学习构造基元特征并和CN颜色特征结合，进一步使用记忆模型刻画时间一致性，并与光流/场景流跟踪预估方法结合提出新的运动估计方法，具有更好的准确性和鲁棒性。最后搭建了仿真测试平台。相关算法在无人机目标跟踪、智能球场及医用视觉检测领域应用，已在实际生产线上试用或原型样机研制；同时建立了研究展示网站。