基于深度特征变换和时空上下文建模的平面物体跟踪方法研究

Planar object tracking plays an important role in computer vison and robotics, and has a wide line of real-world applications. However, because of the complexity of natural environment and the free movement of camera or object, it is challenging to design useful tracking algorithms. In this project, we plan to carry out our research on keypoint-based planar object tracking approach from two perspectives: deep feature transform and temporal-spatial context. First, we plan to design feature transform algorithm based on deep convolutional neural network. On the benchmark side, we will construct a large-scale benchmark dataset used for training and evaluating feature transform algorithms. On the algorithm side, we plan to boost the algorithm’s robustness and speed by adopting generative adversarial learning and sharing feature among different modules and among different keypoints. Second, we plan to design planar object tracking algorithm integrated with temporal-spatial context. On the benchmark side, we will extend our benchmark dataset captured in natural environment. On the algorithm side, we will model the temporal-spatial context effectively, and use multi-graph matching technique to design the tracking algorithm framework. Meanwhile, we will solve the optimization problem related with multi-graph matching in an efficient manner. The above research can provide support for developing robust and real-time feature transform algorithm and planar object tracking algorithm in both theory and practice aspects. Also, we expect to push forward the related research by constructing large-scale benchmark datasets.

平面物体跟踪是计算机视觉和机器人研究领域的重要问题，并有广泛应用。然而由于自然场景的复杂性以及相机或物体运动的随意性，设计具备实用性的跟踪算法充满挑战。本项目拟从深度特征变换和时空上下文角度出发对基于控制点的平面物体跟踪方法展开研究。（1）拟设计基于深度卷积神经网络的特征变换算法。从数据集方面，构建大规模评测数据集用于训练和评测特征变换算法；从算法方面，通过利用生成式对抗学习、模块间及控制点间特征共享提高算法鲁棒性和速度。（2）拟设计融入时空上下文的平面物体跟踪算法。从数据集方面，对项目申请人构建的自然场景下平面物体跟踪算法评测数据集进行扩充；从算法方面，有效建模时空上下文，并设计基于多图匹配技术的跟踪算法框架。同时，对多图匹配涉及的优化问题进行高效求解。拟通过以上研究，为实现鲁棒、可实时运行的特征变换和平面物体跟踪算法提供理论和实践支撑，并通过构建大规模评测数据集推动相关研究的发展。

平面物体跟踪在计算机视觉和机器人领域有着广泛的应用，例如，定位、三维重建、增强现实。本项目针对基于控制点的平面物体跟踪方法，从深度特征变换和时空上下文建模角度出发，对相关的科学问题和技术难题进行了深入研究，攻克了所涉及的科学和技术难题，取得了阶段性成果，研究目标基本完成。针对深度特征变换，本项目在以下三个方面取得了重要结果：（1）完成了大规模适用于单应性变换估计和局部特征学习的数据集构建，该数据集共包含104721个具有人工标注信息的图像对，可用于训练基于深度学习的单应性变换估计算法以及局部特征描述子学习。（2）设计了基于多层特征融合和空间金字塔的局部特征学习算法，该算法通过聚合CNN不同层次的特征，有效提高了局部特征描述子的辨别性和不变性。同时，通过设计可有效利用图像块内空间结构信息的空间上下文金字塔模块，进一步提高了描述子的辨别性。（3）设计了基于级联网络的局部特征学习算法，该算法利用级联的由厚到薄的网络架构和两阶段训练方法，实现了在通过数据增强获得对几何变换的不变性的同时保持了局部特征描述子的整体辨别性。针对融入时空上下文的平面物体跟踪算法，本项目在以下三个方面取得了重要结果：（1）完成了自然场景下平面物体跟踪数据集的扩展构建，该数据集共包含280个具有标注信息的视频，并对22个具有代表性的算法进行了评测和深入分析，其中包括10个基于深度学习的算法。（2）设计了基于光流估计和局部特征学习的平面物体跟踪算法，通过将本项目提出的基于级联网络的局部特征学习和光流估计相结合，实现了在学习局部特征描述子的同时对光流进行估计，并通过利用特征匹配和光流信息进行控制点匹配，有效融入了时空上下文信息并提升了跟踪的准确度。（3）利用网络参数量化、混合精度方法和TensorRT对算法的部分模块实现了加速。本项目构建的数据集在一定程度上促进了相关研究的进展，部分算法在实际系统中得到了初步应用，产生了一定的社会和经济效益。