基于迁移学习的图像搜索理论与方法研究

伴随着图像数据的指数级增长，图像搜索成为新的研究热点之一。目前商业的图像搜索系统大都是基于图像文本信息进行搜索，而图像本质的内容信息还没有被有效地利用。由于图像高层概念的标注耗时耗力，使得标注样本的数量通常较少，因而基于文本的图像搜索性能尚不能满足用户需求。基于图像内容的搜索，由于图像内容自动识别的困难，传统机器学习的方法会陷入"小样本问题"，无法有效地对图像的底层特征和高层概念进行映射。本课题将采用迁移学习的理论和方法，尽可能多地借助各个相关层面的辅助信息，如相关概念的共享信息，辅助域的标注数据和搜索模型，复杂特征相互间的关系和变换，以及文本搜索模型，来缓解"小样本问题"。为了综合、优化地利用辅助信息，我们提出结合跨概念迁移，域迁移，特征迁移和文本搜索模型迁移的图像搜索综合框架，以及基于正则化的学习方法，计划从多个侧面深入研究，相辅相成，使图像搜索性能得到显著的提高。

本项目紧密围绕任务书中计划的混合排序模型设计、图像内容特征的提取、排序模型的适应性、扩展性研究等三个方面展开研究,取得了超出预期目标的学术成果。在混合排序模型设计方面，我们提出了两种文字、图像特征混合的排序模型，相关论文发表在 IEEE Transactions on Multimedia 和 IEEE Transactions on Knowledge and Data Engineering 等期刊和IEEE CVPR会议上。在图像内容特征的提取方面，我们提出了图像特征的快速量化算法、组合流形降维算法、特征的度量学习算法等，相关论文发表在 IEEE Transactions on Image Processing 和 IEEE Transactions on Pattern Analysis and Machine Intelligence 等期刊和ACM MM（SIGMM）会议上。在排序模型的适应性、扩展性研究方面，我们提出了排序模型迁移算法、流形多任务学习算法、并行SVM快速算法等，相关论文发表在 IEEE Transactions on Neural Network & Learning systems 和 IEEE Transactions on Image Processing 等期刊和ACM MM（SIGMM）会议上。.经过三年的努力工作，取得了超出预期目标的学术成果。预期目标是发表论文15篇，国际期刊至少1篇。本项目实际完成10篇国际期刊论文，而且SCI影响因子均超过1.5。其中8篇IEEE Transactions 期刊论文，2篇Elsevier期刊论文。6篇论文已经正式发表，3篇已经有网络版发表。10篇中9篇为长文，唯一的短文是在本领域顶级期刊PAMI上发表，应编辑要求删减到7页。还有4篇顶级会议论文，包括SIGMM论文 2篇，CVPR 论文2篇。一般国际会议论文5篇以上。另外，发明专利有2项在申请中。实验系统也已经完成，在实验数据库中的性能超过常用搜索系统，如论文中的实验结果所表明。