面向复杂动态场景农作物目标精确检测识别的深度显著性编码研究

Locating presice position of crop targets and achieving detection and recognition have become significantly in intelligent agriculture. Thanks to the development of computer vision technology, the object detection system is becoming more and more powerful, however, it is still impossible to solve the defects of feature extraction and object recognition in complex dynamic agriculture scene, especially, when the crop targets have changing perspectives, light occlusions and clutter background. Due to the crop targets feature difficulty extraction, less sample, multiformity and seasonal variability, this project builds a simplified deep convolution network and salient object encoding mechanism to make up for the traditional deep network learning, to achieve high performance effect crop detection and recognition in complex agriculture scene..The research in this project can be concluded as follows: 1) designing a simplified deep network and optimization strategy for dynamic agricultural scene, it is proposed to integrate the dynamic video sequence characteristics into the deep convolution neural network model, and make full use of the context and background information. 2) building deep network based on crop objects, this project use image feature coding to research optimization method on connection matrix and convolution layer. 3) constructing deep salient coding network and introducing saliency mechanism to enhance learning ability of deep model.

精准定位农作物目标及实现检测识别功能是实现农业智能化的重要前提。目前，目标检测能力在不断提升，然而仍无法解决在复杂动态农业场景中农作物目标因视角多变、光线遮挡及背景复杂所产生的检测识别缺陷。本项目针对复杂场景农作物目标特征提取难、小样本、多样性和季节差异性问题，通过构建简化的深度卷积网络特征提取模型和目标显著性编码机制来弥补传统深度网络学习的不足，实现复杂农业场景农作物目标检测识别高性能效果。. 研究内容：1）建立面向动态农业场景的简化深度网络模型及优化策略，拟将动态视频序列特性融入到深度卷积神经网络模型中，并充分利用农业场景图像的上下文和背景信息；2）设计基于农作物目标的深度特征提取网络模型，研究深度模型在连接矩阵和卷积层之间的优化方法，并利用图像特征编码进一步学习深度特征；3）构建深度显著性编码网络模型，研究基于深度特征的显著性编码方法，引入目标显著性机制增强深度模型学习能力。

农作物目标精确检测识别功能在农业智能化领域得到了广泛的应用，当今，目标检测方法多种多样，尤其是基于深度网络的目标检测方法，目标检测精度不断提升。然而，现有的目标检测识别方法在小样本、光线遮挡、背景严重干扰以及视角多变场景中仍存在分类精度低和计算效率低的问题。本项目针对上述问题，研究提出了显著性指导的数据增广策略、引入注意力机制、多层字典编码学习网络以及几何监督姿态网络等方法以解决小样本、背景干扰和视角多变问题。研究主要内容如下：（1）为解决农作物目标细粒度识别中样本少的问题，提出显著性指导策略，其由截取、部分感知裁剪和混合操作算子组成，新增的数据可以有效减少背景和噪声的干扰。除此之外，为了进一步提升图像中目标的精细分类精度，还设计了“Top-K”损失函数，主要关注相似目标的特征以便区分子类别的细微差异，在CUB-200-2011, Stanford Cars 和 FGVC Aircraft公共数据集上，目标识别平均精度达到了92%；（2）针对视角多变引起的目标检测精度低的问题，研究提出基于几何监督姿态的端到端深度网络，并引入目标的真实位置信息，加入局部和全局优化约束项，同时设计多层次注意力机制算法以增强多视角下目标精确检测识别效果；（3）为解决农业场景和农作物害虫精细分割问题，项目组在传统局部二进制模式特征（LBP）基础上，提出了光谱信息和空间信息联合的2D-LBP特征，并将此特征融入到基于Gabor滤波器的深度网络中从而实现农业场景的精细分割，在India Pines、University of Pavia、Pavia Center公共数据集上平均精度超过了98%；针对农作物害虫在深度网络下采样操作中图像细节信息丢失问题，提出了基于Deeplab V3 Plus网络架构的自适应注意力机制图像语义分割算法，核心思路是在主干网络的输入层、中间层和输出层均嵌入注意力机制模块，从而实现了农作物害虫的精确分割任务。基于上述研究内容，本课题组总计发表19篇论文（9篇SCI，9篇EI，CSCD中文检索期刊1篇），1部专著，申请6项发明专利，授权1项软件著作权，培养4名研究生，完成了项目既定任务。