折反射全景成像中的目标压缩跟踪研究

Panoramic imaging system plays an important role in robot vision, virtual reality, intelligent traffic and surveillance applications. Especially a catadioptric panoramic imaging system, without stitching and rotation, which can achieve 360 degree field images has a broad application prospects. The project researches spherical panoramic target detection and tracking based on monocular catadioptric panoramic stereo camera.. Firstly spherical panoramic stereo geometrical vision theory is built based on spherical perspective projection model. The local circle histogram descriptor which fits to the annular distortion image is researched. Then the compressive sensing theory is integrated with TLD tracking algorithm,which includes tracking, learning and detection. it will make the tracking effect more stable, robust, reliable. It will form the the panoramic TLD target compressive tracking theory under spherical stereo geometrical vision. The theory and technology achievements makes panoramic imaging system more widely applied to computer vision, virtual reality, smart drive, security and defense fields.

全景成像技术在在机器人视觉、虚拟现实、智能驾驶和监控等方面有着重要的应用价值，尤其是折反射全景成像系统，无需拼接和转动即可实现360度成像，有着广泛的应用前景，本项目以单目折反射全景立体成像系统为平台，研究球面全景目标跟踪理论和方法。. 首先通过球面透视投影模型建立球面全景立体几何视觉理论，针对全景成像的环带图像特点，研究适合于全景环带畸变图像的局部环状梯度描述子。在此基础上将压缩感知理论应用到跟踪、学习、检测三模块集成的TLD目标跟踪算法理论中,形成球面框架下的全景TLD目标压缩跟踪理论，使得跟踪效果更加稳定、鲁棒、可靠。相关的理论和技术可以使得全景成像更好地应用到计算机视觉、虚拟现实、智能驾驶、安防及国防等领域。

鲁邦稳定的目标跟踪技术在机器人视觉、虚拟现实、智能驾驶和智能监控等方面有着重要的应用价值和研究意义，本项目主要研究适用于全景成像特点的局部坐标系下支撑区域描述方法，使用环形子区域划分方法，统计每一个子区域的梯度方向和大小，建立一个局部梯度坐标系以满足旋转不变性，更适合全景环带像的特点。本项目在球面立体几何视觉理论的基础上，将压缩跟踪的思想应用在TLD算法中，压缩降维的对象是全景特征描述子，在降低维度的同时提高跟踪系统的鲁棒性。.经过三年的研究工作，本项目取得了很多重要的成果，我们搭建了折反射全景成像平台，建立了球面视觉理论，建立了全景特征描述子，实现了全景特征描述子的压缩跟踪算法平台，除此之外，近年来由于深度学习的飞速发展，深度学习方法开始在目标跟踪领域展露头脚，并逐渐在性能上超越传统方法，取得巨大的突破。我们将深度学习目标跟踪速度降低的三个最重要的因素：(1)模型大小，。(2)训练集大小。(3) 模型更新速度。使用相关滤波(correlation filter)方法的进行有效融合，在在线跟踪的过程中节省了大量的时间和空间，使得深度学习方法在实际应用中更有吸引力。我们发表了3篇相关的论文，申请了发明专利，在VOT等目标跟踪竞赛中取得了很好的成绩，相关的理论和技术可以使得更好地应用到计算机视觉、虚拟现实、智能驾驶、安防及国防等领域。