自由运动相机下的多目标检测与跟踪

Intelligent devices such as intelligent robot, intelligent vehicle, unmanned aerial vehicles and intelligent weapons have gradually become the research focus in the scientific research institutions.These intelligent devices can not only improve the safety and comfort of human life, but also play a vital role in the filed of military. In order to improve the accuracy of the target positioning of the intelligent devices, this project intends to research and develop a dynamic target positioning system under the free movement camera. Specific research contents and the key technology to be solved are as follows, background subtraction method under complex dynamic scene based on the free movement camera will be firstly researched to realize target detection under the free movement camera. Then moving target classification and feature extraction based on the depth neural network will be researched to further recognize the targets. Multiple target tracking method based on the deep learning and immune clone particle filter under free movement camera will be researched to achieve the goal of continuous target positioning. This proposal aims to design methods which will be more conducive to improve the accuracy of target positioning.The significance of this research project is that it will increase our understanding of deep learning and immune clone particle filter theory, while providing new ideas to explore a wider range of motion blur in target positioning techniques. This research will give us a outlook for the application of the object detection and tracking methods under the free movement camera in the fields of image processing and computer vision.

智能化装置如智能机器人、智能车，无人机以及智能化武器装备逐渐成为国内外各科研机构的研究热点。这些智能化设备除了能提高人们生活的安全性和舒适性外，在军事上也起到了至关重要的作用。为了提高智能化装置目标定位的准确性。本项目拟研发一套自由运动相机下的动态目标定位系统。具体的研究内容和拟解决的关键技术如下：研究自由运动相机下复杂动态场景的背景减除方法实现自由运动相机下的目标检测；研究基于深度神经网络的运动目标分类和特征提取方法对检测出的目标进行进一步识别；研究基于深度学习和免疫克隆粒子滤波的自由运动相机下的多目标跟踪方法实现目标的连续定位。预期设计出的方法更有利于提高目标检测和跟踪的准确性。本项目的研究意义在于，为自由运动相机下的目标定位这一个需要迫切解决的实际问题，提供一个理论支撑且实际可行的方案。

自由运动相机下的目标位置定位是智能化设备的重要组成部分。要实现自动的目标定位和检测需要解决以下几个问题：首先由于自由运动相机采集的环境信息比较复杂且时刻发生变化，因此需要特定的背景建模方法对场景进行建模从而实现对目标准确提取。其次，在图像中目标的形状、尺寸和颜色随着时间的推移和光照条件的变化而发生改变，如何实现此工况下目标的精确识别是一个难点问题。再次，运动目标按照自身的方向和速度行驶，其运动状态不可预测，这严重影响了基于视觉传感器的目标定位方法的准确性。最后，移动平台处理设备的运算能力较 PC 机相比要弱很多。针对上述问题，项目研发团队实现了基于2.5D以及视觉显著性相结合的自由运动相机下的动态目标检测方法。完成了自由运动相机下的运动目标分类和特征提取，基于深度学习和免疫克隆粒子滤波的移动平台下多目标跟踪等关键技术，对复杂环境中依托视觉信息识别和感知目标行为的新理论和新途径进行了研究和实现，并最终实现复杂环境下更加可靠、通用和智能的，自由运动相机下的多目标的准确定位。 通过本项目的深入研究，解决自由运动相机下的目标检测与跟踪中的一些技术难点，为自由运动相机下的目标检测与跟踪技术提供新理论及新方法。经过三年的研发完成自由运动相机目标定位原型系统，另外，相关技术已经成功应用于机载实时记录系统、智能采茶系统、第三代杂交水稻荧光分选系统中。项目负责人及课题组成员在国内外重要期刊或会议上发表高水平论文4篇，申请专利4项。