弱标注下融合时空上下文的细粒度物体识别方法研究—以鄱阳湖候鸟为例

Fine-grained recognition is to recognize subordinate-level categories under some basic-level category. Compared with basic-level category classification, it is more technically challenging. The current state-of-the-art fine-grained recognition algorithms rely heavily upon the use of specially trained sample set containing key parts annotations, which makes them too cost-prohibitive to scale up to other thousands of fine-grained object domains. To solve this problem, we do research on fine grained object recognition issue via integration of spatio-temporal context on large-scale weakly labeled image dataset. Begin with overcoming the key technology bottlenecks of fine-grained classification under weak labeling conditions, we propose an algorithm of discovering and locating the salient part containing distinguishable information based on weakly-supervised learning, integrate multi-modal spatio-temporal information into the improved Convolutional Neural Network (CNN) to achieve semantic features extraction. With deep CNN features，we carefully design deep networks for object classification. To further enhance the performance of the algorithm, we merge the above processes into a single network by sharing their convolutional features. Our project takes migratory birds in Poyang Lake as a background application, aiming to solve the fundamental problem under the new condition of weakly labeled dataset. It will benefit the breakthrough on the main technical bottlenecks in fine-grained recognition application, and have important practical significance and scientific values.

细粒度物体识别是识别基础类别的下一级类别，与一般基础类别识别相比更具挑战性。现有细粒度识别算法严重依赖包含关键部位标注的专业训练样本集，而专业训练样本获取成本太高，导致算法难以推广到其他细粒度对象领域。本课题针对这一问题，探索一种以大规模弱标注图像代替专业训练样本集的融合时空上下文的细粒度物体识别新方法。从解决细粒度识别的技术瓶颈出发，研究基于弱监督学习的显著部位发现和定位算法；融合多模态时空上下文信息到改进卷积神经网络模型中，实现融合多模态上下文信息的深层语义特征提取；在深层语义特征基础上，探索基于深度学习的深层分类器模型；为了进一步提升算法的性能，研究细粒度物体识别的一体化模型，尽可能实现信息共享。本课题以鄱阳湖候鸟物种识别为例，在弱标注的新环境下，研究细粒度物体识别的基础问题，对于突破细粒度识别大规模应用的主要技术瓶颈，具有良好的科学意义和创新价值。

细粒度物体识别是识别基础类别的下一级类别，与一般基础类别识别相比更具挑战性。现有细粒度识别算法严重依赖包含关键部位标注的专业训练样本集，而专业训练样本获取成本太高，导致算法难以推广到其他细粒度对象领域。本项目旨在探索基于大规模弱标注图像的细粒度物体识别新方法。本项目开展了以下研究：1)建立面向弱监督下细粒度对象识别的鄱阳湖候鸟图片数据集；2）探索基于弱监督学习的显著对象发现和定位算法。主要采用多通道注意力机制生成实现尽可能多的显著区域的发现，进而实现更准确的对象定位；3）探索了融合多模态上下文信息的深层语义特征提取。主要采用对抗互补注意力机制和分层双线性池化的方法，实现具有强细节区分能力的深度语义特征提取；4）探索了基于深度学习的细粒度物体识别一体化模型。采用分层网络的形式，把目标定位、深层语义特征提取和分类模型统一在一个深度网络当中，实现端到端的一体化细粒度物体识别深度网络模型；5）以鄱阳湖候鸟为应用对象，开发了鄱阳湖候鸟种群识别系统，并申请了软件著作版权。基于以上探索表明，基于弱监督学习的细粒度物体识别等相关研究，可以在弱标注下有效提高细粒度物体分类精度与效率，解决细粒度识别领域存在的专业标注数据集少、获取成本高的问题。相关研究在鄱阳湖候鸟种群识别中的应用，证明了本项目研究技术的潜在应用前景和市场价值。