基于二值量化深度卷积神经网络的视觉检测与跟踪方法研究

With the advent of the era of big data, deep convolutional neural networks (CNNs) with more complex network structure own stronger feature learning and representation ability, so deep CNNs make remarkable achievements in visual detection and tracking. However, deep CNNs have very high requirements in respect of storage space and computation resource, which severely limits its applications on mobile devices and embedded systems. The project takes the binary quantization of the networks as the starting point to study compression strategies of deep CNNs and visual detection and tracking methods based on binary quantization deep CNNs. It aims to propose high performance binary quantization compression methods of deep CNNs, fast visual detection methods based on feature pyramid binary quantization networks and fast and robust visual tracking methods based on deep metric learning for solving the bottleneck problems of visual detection and tracking based on deep CNNs in storage space and computation resource. The results of the project can be widely used in visual navigation, intelligent visual surveillance, human-computer interaction etc. It is very significant for realizing the intellectualization of wearable devices, mobile service robot, the intelligent unmanned vehicles and unmanned aerial vehicle etc.

随着大数据时代的到来，具有更复杂网络结构的深度卷积神经网络与传统机器学习方法相比具有更强大的特征学习和特征表达能力，使其在视觉检测及跟踪等方面取得了令人瞩目的成绩。然而深度卷积神经网络对存储空间和计算能力具有很高的要求，严重限制了其在移动设备及嵌入式系统上的应用。本项目以网络的二值量化为出发点，研究深度卷积神经网络的压缩策略以及基于二值量化网络的视觉检测和跟踪方法，提出高性能深度卷积神经网络二值量化压缩方法，提出基于图像特征金字塔二值量化网络的快速目标视觉检测方法，提出基于深度度量学习的快速、鲁棒视觉跟踪方法，从而解决基于深度卷积神经网络的视觉检测与跟踪方法在存储量和计算量中的瓶颈问题。本项目的研究成果可广泛应用于视觉导航，智能视觉监控，人机交互等领域，对实现可穿戴设备、移动服务机器人、无人车及无人机等的智能化具有重要意义。

基于视觉的目标检测与跟踪是计算机视觉领域的重要研究课题, 在视觉导航、人机交互、视频监控等领域，具有重要的理论研究意义和实际应用价值。本项目围绕视觉目标检测和跟踪开展了深入研究。. 在视频目标跟踪方面，开展了采用对抗特征采样学习的方式实现快速鲁棒跟踪的研究。提出了用于视频目标跟踪的对抗特征采样学习框架，该框架有效加速了tracking-by-detection方式的目标跟踪器，并在OTB2015, VOT2016等多个数据集上获得了优异性能。.在视频目标跟踪与分割方面，开展了采用标注引导注意机制及方向化深度卷积表观特征学习的方式实现视频目标跟踪与分割的研究。提出了标注引导Unet网络，用于快速的视频目标跟踪与分割，标注引导Unet网络通过全卷孪生网络实现对前景和背景的自动化标注，具有仅通过静态图像学习便可有效学习，以及快速迁移学习的特点。在DAVIS2016, DAVIS2017，SegTrack等多个数据集上获得了优异性能。提出了基于方向的深度嵌入式表观特征学习框架，通过离线端到端的方式实现快速视频目标跟踪与分割。深度嵌入式表观特征学习框架不依赖与网络的在线精调学习，具有更高的速度，超过25F/S。在DAVIS 2016, DAVIS 2017，YouTube-VOS 数据集上取得了优异性能。. 在目标检测方面，开展了基于区域卷积神经网络的多尺度人脸检测算法以及基于深度学习的空中加油目标视觉检测方法。提出了基于区域卷积神经网络的多尺度人脸检测算法, 解决小目标人脸和多尺度人脸检测困难的难题，以候选区域的尺度为依据，通过构建三个独立的不同结构Fast R-CNN，使得它们对于不同尺度的人脸具有更好的适应性，在FDDB, AFW, PASCAL，WIDER FACE等多个公开数据集中取得了优异性能。提出了基于深度学习的空中加油目标视觉检测与跟踪框架，解决空中复杂条件下空中加油目标检测与跟踪困难问题。