交互式图像搜索中的小样本学习问题研究

Interactive image search is often challenged by the small sample problem. Existing schemes mainly focus on designing and analyzing a single learning mechanism and ignore the cooperation among multiple learning strategies, which leads to very limited learning effectiveness. This project employs Gestalt laws to guide machine learning algorithms design, and proposes a novel interactive image search paradigm based on the multi-strategies cooperative learning framework to address the small sample learning problem, by developing the co-working mechanism of multiple learning approaches including semi-supervised learning, ensemble learning, active learning and log based long-term learning, etc. Our research mainly concentrates on semantic similarity inference by mining individualized behavior patterns of users, visual similarity learning using semi-ensemble theory, comprehensive relevance computation via combining image visual content with semantic hidden in query log, and hybrid active learning by querying both informativeness and visual saliency of image samples, in order to maximize the generalization performance of the learning system, optimize the relevance ranking of database images and minimize the user labeling burden. The implementation of this project will further enrich and advance the research of image retrieval field and be expected to yield some innovative outcomes with significant scientific, societal and economic benifits.

小样本学习问题是交互式图像搜索技术面临的主要难题之一。现有应对方案主要致力于单种学习算法的设计与分析，却忽略了多种学习算法之间的交互与协同，其泛化性能尚存在较大改进空间。鉴于此，本项目主张以"完形认知机理"引导"机器学习"算法设计的学术思路，拟探索半监督学习、集成学习、主动学习，以及基于日志的长期学习等多种算法之间的协作机制，旨在构建基于多策略协同学习框架的交互式图像搜索新范式，以有效应对小样本学习困难；重点研究基于个性化用户行为模式挖掘的语义相似性推理方法、基于半监督集成理论的视觉相似性学习方法、融合语义与视觉信息的综合相关性计算方法、兼顾图像样本信息量与视觉显著性的混合型主动学习方法，以期最大化学习系统的泛化性能、最优化目标图像的相关性排序、最小化用户的标注负担。该项目的实施将进一步丰富和完善图像搜索研究领域的新内容，其科学、社会和经济意义重大，有望取得一些创新性成果。

针对小样本学习问题已成为制约图像搜索技术发展的主要瓶颈之一，本项目尝试了以“完形认知机理”引导“机器学习”算法设计的学术思路，提出一系列多策略协同机器学习理论方法，以应对小样本学习困难。研究重点主要聚焦于：1）视觉相似性学习理论、2）语义相似性推理方法、3）综合相关性计算模型、4）混合型主动学习策略四个方面，以期最大化学习系统的泛化性能、最优化目标图像的相关性排序、最小化用户的标注负担。经项目组成员通力合作，共计发表学术论文15篇，申请国家发明专利1项；其中SCI论文6篇，中文一级核心期刊1篇，国际会议论文8篇（包括3篇领域顶级会议：2篇人工智能领域顶级会议AAAI，1篇计算机视觉领域顶级会议ECCV）；同时培养青年教师3人（晋升为副教授）、博士/硕士研究生4人（毕业），实现了科学研究与人才培养双丰收的预期研究目标。