基于时空感知深度卷积神经网络的空天三维目标识别研究

Aiming at the key and difficult questions of 3D target recognition such as feature mining and classifier design,the air and space image sequence of target will be used in this project to carry out research of 3D recognition based on spatio-temporal perception and deep neural networks.The sparse data for deep convolutional neural networks will be obtained based on construction on 3D target characteristic view and human space variant vision mechanism.By means of correlation analysis and hyper parameter optimization,the effect of the deep neural networks learning algorithm on image feature mining ability,generalization ability and convergence performance of networks will be discussed.Taking the spatio-temporal information extraction and 3D target recognition mechanism as guidance,the new model of loosely coupled and tightly coupled neural networks for 3D target recognition will be established.At the same time,a parallel optimization scheme based on BSP model and multiple GPU will be proposed for the fast realization of deep convolutional neural networks.Through the investigation of the project,the relationship between the mechanism of target recognition and realization of deep neural networks algorithm can be established.The new coupled deep convolutional neural networks model which combines the spatio-temporal information can be proposed.The research is of significant importance for opening out the key and basic questions,such as feature extraction of 3D target recognition,and promoting the research of 3D target recognition theory and method in-depth.The research results have important application reference value in military and civil fields.

针对三维目标识别中的特征挖掘和识别分类器设计等关键和难点问题，本项目以空天目标序列图像为对象，开展时空感知深度神经网络的三维目标识别研究。项目拟在构建三维目标特性视图的基础上，引入人眼视觉的空间变分辨率机制，获得面向深度卷积神经网络的稀疏样本;以相关性分析和超参数优化等为手段，阐明深度神经网络学习算法对图像特征挖掘能力、网络泛化能力及收敛性能的影响规律；以三维目标的时空信息抽取和识别机理为牵引，建立面向三维目标识别的深度神经网络松耦合及紧耦合新模型；以深度卷积神经网络的快速实现为目的，提出BSP模型和多GPU相结合的深度学习并行优化方案。通过研究，建立目标识别机理与深度神经网络实施算法的本征关系，提出联合时空信息的深度卷积神经网络耦合新模型。本项目对于揭示三维目标识别中的特征提取等关键基础问题，发展三维目标识别理论与方法具有重要意义，研究成果在军事和民用领域具有重要的应用参考价值。

三维目标识别是导航、制导与控制等领域的重要研究课题。项目组以深度神经网络等为基础，系统研究了深度神经网络对图像特征的挖掘提取能力，探索了提高神经网络泛化能力和收敛能力的策略，建立了深度神经网络目标识别、目标检测和图像融合模型。所完成的创新性研究工作如下：.(1) 提出了基于胶囊网络的三维目标关键帧提取算法。从序列内部变化机制出发，挑选出序列中能够表征关键信息的帧组成关键帧序列。.(2) 建立了面向空天三维目标识别的时空松耦合与紧耦合网络，从识别精度、距离度量、网络参数量和计算效率等角度对两种不同时空感知方法进行了充分比较。同时，提出了将残差网络和主成分分析网络相结合的空中目标识别算法。.(3) 构建了复杂背景下的SSD改进型目标检测模型。引入调制因子，减小背景损失在置信损失占比；对低层特征图进行语义信息融合加强，以提高对小目标检测的精度。.(4) 创新性地提出了基于多通道深度神经网络的红外和可见光图像融合新模型。网络由编码层、融合层、解码层和输出层组成，以一种现有方法的融合结果作为训练标签，并且设计了针对图像融合的损失函数。.(5) 建立了一种基于度量学习的小样本目标分类模型。构建了基于支持集变换查询集样本特征的特征变换网络；设计了全局与局部特征融合模块作用于支持集样本，避免了模型过拟合的问题，同时使模型的学习能更关注目标本身所固有的属性。.(6) 搭建了一种基于迁移学习的小样本目标检测模型。利用迁移学习获得骨干网络的预训练参数；在Faster R-CNN算法的特征提取模块中加入注意力机制，并引入特征金字塔的思想对图像特征进行融合，同时在传统损失函数中加入了抑制背景的正则化项。.通过研究，充分挖掘了深度神经网络对图像特征的提取能力，解决了项目的关键科学问题，完善和发展了基于深度神经网络的目标识别、目标检测和图像融合模型，为进一步推动深度神经网络的理论和应用研究奠定了基础。