弱小数据驱动的细粒度图像识别研究

The purpose of Fine-Grained Image Recognition(FGIR) is to identify sub-classes of objects under the same meta-class, which has significant scientific value and wide application prospects in many real-world scenarios. To cope with the challenge of fine-grained characteristics of images, there have been studies to learn sub-class differences by leveraging massive and fine-grained manual labeling data. However, since large-scale manual label acquisition for FGIR is a difficult, expensive and time-consuming work, how to develop a more general FGIR research system and build a non-powerful data-dependent, generalizable, and easily extensible FGIR framework and algorithm is an urgent problem to be solved. Hence, this project focuses on weak and small data-driven FGIR research. Specifically, from the perspective of sample expansion, metric learning, and semantic transfer, this project proposes multi-source images based weakly supervised FGIR approach, asymmetric association metrics based few-shot FGIR model, and zero-shot FGIR method via joint embedding of latent attributes and discriminative regions. The purpose of this project is to build novel FGIR frameworks and algorithms driven by weak and small data resources such as noisy weakly labeled data, few labeled data, and partially labeled data. The work of this project is expected to promote the development of weak and small data-driven deep learning theory and lay a solid theoretical foundation for the large-scale industrial and commercial application of FGIR technology.

细粒度图像识别（FGIR）的研究目的是识别同一元类别图像中的子类别对象，具有真实场景中显著的学术价值和广泛的应用前景。为了应对图像细粒度特性的挑战，现有研究借助海量且精细的人工标记数据推动对子类差异的学习。然而，由于针对FGIR的大规模人工图像标注是一项困难、昂贵、耗时的工作，如何发展更加通用的FGIR研究体系，构建非强大数据依赖、可泛化、易扩展的FGIR框架和算法，是当前亟待解决的问题。对此，本项目拟进行弱小数据驱动的FGIR研究，分别从样本扩充、度量学习、语义迁移角度着手，开展基于多源图像的弱监督识别、基于非对称关联度量的小样本识别、潜在属性和判别性区域联合嵌入的零样本识别等内容的研究，构建含噪弱标记数据、少量标记数据、部分标记数据等典型弱小数据资源条件下的FGIR框架和算法。本项目工作的开展，有望促进弱小数据驱动深度学习理论的发展，并为FGIR技术的大规模工商业应用奠定坚实理论基础。

项目主要针对Web弱监督细粒度图像识别、小样本细粒度图像识别以及零样本细粒度图像识别问题开展了系统研究。针对Web弱监督细粒度图像识别问题，开发了对抗性判别性特征一致化模型，通过标签预测和数据源分类的一致性对抗学习来提高多源数据集表征间的一致性，在不增加人工标注成本的前提下提升了细粒度图像识别精度；针对小样本细粒度图像识别问题，开发了成对双线性注意力度量学习模型，通过对成对图像的全局/局部融合特征比较、突出关键且具有对比性的图像区域，对细粒度数据集普遍存在的类内差异大、类间差异小问题具有较强的鲁棒性；对于零样本细粒度图像识别问题，开发了基于区域注意力的人工定义属性、高阶统计量和潜在判别性空间联合嵌入方法，降低了人工定义属性不全、全局特征属性空间嵌入判别性低、枢纽点问题对细粒度识别精度的影响。此外，本项目探索了“AI大模型+小样本细粒度识别迁移”的新型研究方案，开展了相应的科研和工程实践工作。综合而言，项目研究了弱小数据条件下的细粒度图像分类识别机制并针对不同数据场景对其进行了理论建模，开发了适用于含噪弱标记数据、少量标记数据和部分标记数据条件下的多种图像识别方法，并对“大模型+小数据”的新兴研究模式进行了科研和工程探索。项目在一定程度上丰富和发展了弱小数据驱动深度学习和细粒度图像识别领域的理论和方法。