基于多视角语义协同的细粒度图像分类

Fine-grained image classification has become very popular in recent years. It aims to make accurate classification of images of several sub-categories which belong to the same large category. The state-of-the-art fine-grained classification methods use visual information directly without considering the semantic information. Besides, it would be effective to combine the discriminative information of multiple views. This project plans to conduct research on the fine-grained image classification problem by using multi-view semantic collaboration. The main contents of our research can be summarized as follows. In order to make use of the semantic representations, we model objects and their context information to get discriminative single view representation. The training images are expanded with unlabeled images which has view consistent predictions. This project aims to make correct classfication of fine-grained images and improve the classification performance. This project will publish about five high influence papers on international journals and conferences and also foster one to two students with master or PhD degree. This project reveals the influences of semantic information and multi-view representation for fine-grained image classification. This project will make breakthrough on the model, method and key technology of fine-grained image classification.

对细粒度图像进行准确分类是近几年的一个研究热点。它的目标是对一个大类中的若干个子类图像进行准确识别。现有的细粒度图像分类方法大多直接基于视觉信息分类，缺乏对于图像语义信息的充分利用；另外，综合多种视角信息可以更好地改进分类性能。本项目研究基于多视角语义协同的细粒度图像分类方法。主要研究内容包括两方面：一方面，基于语义表示，对物体及其上下文信息进行建模，从而得到有判别力的单视角图像表示；另一方面，基于多视角一致性约束，选取不同视角观测一致的未标记图像对训练图像进行扩增。项目实现对于细粒度图像类别的精细预测，改进细粒度图像分类性能。将在高水平国际期刊及高水平学术会议上发表论文5篇左右，培养博士、硕士研究生1-2名。在科学意义方面，本项目揭示语义信息和多视角表示对于细粒度图像分类的影响，在细粒度图像分类模型、方法和关键技术上实现突破。.

细粒度图像分类是对一个大类中的若干个子类图像进行准确识别。现有的细粒度图像分类方法大多直接基于视觉信息分类，缺乏对于图像语义信息的充分利用；另外，综合多种视角信息可以更好地改进分类性能。本项目研究基于多视角语义协同的细粒度图像分类方法。主要研究内容包括两方面：一方面，基于语义表示，对物体及其上下文信息进行建模，从而得到有判别力的单视角图像表示；另一方面，基于多视角一致性约束，选取不同视角观测一致的未标记图像对训练图像进行扩增。项目实现对于细粒度图像类别的精细预测，改进细粒度图像分类性能。主要进展有三项。一、针对物体、上下文语义表示构建问题，提出了一种融合视觉、语义和视角一致的多视角图像分类策略；二、针对语义表示构建问题，提出了一种多视角语义表示的视觉分类方法；三、针对标注图像扩增问题，提出了一种基于弱语义一致性的半监督、无监督图像分类方法。在高水平国际期刊发表论文5篇，包括IEEE Transactions on Image Processing 1篇、IEEE Transactions on Cybernetics 1篇、IEEE Transactions on Multimedia 2篇、IEEE Transactions on Circuits and System for Video Technology 1篇。培养博士研究生1名、硕士研究生2名。项目负责人张淳杰受邀担任国际期刊Information Sciences（2019年Impact factor:5.524）编委（associate editor）、IJCAI 2020程序委员会委员。