基于局部不变特征和混合多示例学习的图像检索研究

Content-based Web image retrieval is faceing two key problems : semantic gap and large scale. This project researches the methods with low complexity and high computational efficiency for Web application, which can also effectively reduce the semantic gap.The main research contents include: the framework of cross-media image retrieval under the restriction of small sample size;the rapid and effective extraction of local invariant features based on interest points, to fulfill the accurate and compact description of the image and the robustness to geometric and affine transformation of the image; the discovery of semantic feature of the image in an unsupervised learning framework by using rich textual information of the image from Web, to achieve real-time transition to semantic-based image retrieval; the application of multiple-instance learning and the solution to the small sample size problem by introducting the semi-supervised learning method into the multiple-instance learning algorithm，to achieve better retrieval performance. The research results are of great importance to promote the practical application of content-based image retrieval.

针对互联网环境下基于内容的图像检索面临的两大突出问题：语义鸿沟和图像库的大规模化，本项目对具有低复杂度和高计算效率、能有效缩减语义鸿沟的互联网图像检索进行研究。主要包括：对小样本约束下跨模态图像检索框架进行研究；对基于兴趣点的图像局部不变特征快速有效的提取方法进行研究，以实现特征描述对图像准确、紧凑的表示以及对图像几何、仿射等变换的鲁棒性；利用互联网图像丰富的文本信息，在非监督学习框架下研究发现图像语义特征的方法，以实时实现基于内容的图像检索向基于语义的图像检索模式过渡；对多示例学习方法在图像检索中的应用算法进行研究，并研究通过引入半监督学习改善相关反馈过程中小样本问题的优化算法，以实现更好的图像检索效果。本项目的研究对推动基于内容图像检索技术的发展与实际应用具有重要意义。

本项目主要针对互联网环境下基于内容的图像检索面临的语义鸿沟和图像库的大规模化问题，对具有低复杂度和高计算效率、能有效缩减语义鸿沟的互联网图像检索展开了研究。研究了小样本约束下跨模态图像检索问题，提出了基于语义传播及混合多示例学习的Web图像检索框架；研究了以兴趣点为线索及符合人眼视觉机理的图像显著区域快速有效的提取方法，提出了基于尺度不变特性的兴趣点检测算法、基于兴趣点和显著图的显著区域提取算法、基于显著区域和类的图像检索算法；研究了非监督学习框架下获取图像语义特征的方法，提出了从文本信息到视觉特征的语义传播方法；研究了多示例学习方法和群体智能算法的应用，提出了混合多示例学习算法、基于生态选择粒子群优化反馈的图像检索等算法。本项目研究的成果，对基于内容图像检索技术的理论研究和应用发展具有积极的推动作用。