迁移学习在图像分类中的应用研究

Data annotation is a key problem in classification. This project aims at how to take advantage of the huge weak-labeled web image data to improve the performance of image classification. Based on transfer learning theory, four aspects will be studied, including large scale learning, noise handling, data separation from different distribution and targe object alignment. The main research contents includes: how to extract efficient visual cues from image, how to separate the large scale web dataset into differnt small source datasets and use them selectively, how to build the new transfer learning model taking both noise and alignment of position, scale and pose into consideration, how to derive the optimization problem. We will also build a demo system of scene landmark classification based on the research results.

数据标注是图像分类中的一个关键问题。本项目旨在研究网络海量弱标注数据在图像分类中的使用问题。拟以迁移理论为基础，围绕大规模数据学习，海量数据标注噪声处理、海量数据中不同分布数据的分离以及目标物体对齐这四个方面展开研究。主要研究内容包括：如何建立一个更加有效的图像视觉表示，如何有效的分离不同分布的海量图像数据并有选择地利用，如何构建针对图像分类问题特有的目标物体位置、尺度、姿态分布存在不同的海量弱标注数据迁移学习模型，以及如何在新的模型下进行优化求解，并基于研究成果搭建场景分类的原型系统。

项目基于传统的图像分类算法，对迁移学习在传统学习算法中的应用进行了一系列研究。研究主要集中在学习模型和特征提取改进方面。学习模型改进主要包括如下两方面：（1）针对传统SVM分类器层面的迁移学习，对多类别图像分类中在不同类别（比如动物图像分类中“鸭”和“鹅”两个类别）获得的SVM分类器，考虑到类别之间的相关性，建立了一套对多个相关类别分类器共享信息的学习框架。框架使用两轮迭代学习，第一轮迭代使用每个类别各自的样本及原始的特征进行初始分类器的构建，第二轮迭代则在原始特征的基础上，额外添加了（串联）其它类别分类器的决策值作为新的特征，进行新一轮分类器的构建。考虑到不同抽象层次特征的表达意义不同，提出对原始特征和决策值层面特征在优化过程使用不同范数约束，并进一步推导实现了在新约束方程下的求解方案。（2）基于(1)，考虑到多示例学习在图像分类中的重要性（图像分类任务中依赖用以分类的目标并未严格对齐），进一步尝试多示例SVM学习替代（1）中的SVM学习，将多示例SVM学习与（1）中迁移学习方案相结合，增加潜在的图像对齐过程，进一步推导新的分类器层面的多实例学习迁移学习方案。关于特征提取，改进主要包括如下两方面：（1）考虑到传统的Bag-Of-Word特征提取中的图像金字塔是手工划分的有限网格，不能使得图像中某些需要整体关注的目标物体图像块落入网格中，并进行有效的特征提取，提出使用穷举网格提取图像块的方法，并对每个穷举获得的图像块提取特征的方法，并进一步考虑到图像特征过多的问题，提出在图像块的层面上进行进一步的特征降维方法。（2）针对传统多示例学习特征提取方案不能进行图像之间结构性信息的缺点，提出了使用原始特征的最近邻图像来建立图像相关性特征，并将原始特征与图像相关性特征进行联合，进而进行进一步分类的方法。.项目共发表文章12篇（其中SCI一区1篇，SCI二区及以下3篇，EI期刊5篇），培养硕士研究生9名。