基于黎曼空间模型的多模态Web图像流形学习及检索研究

目前多媒体信息检索主要基于向量空间模型，存在众多相似性策略不一致性问题；Web 数据集因其大规模、异构和高维特性更适合看作一个卷曲空间而非欧式空间，黎曼空间模型比向量空间模型更适合描述此类卷曲空间。.本课题从一个全新角度即黎曼空间模型出发，结合Web 图像多模态特性，利用黎曼流形学习和多模态学习进行Web 图像检索研究。针对复杂Web 图像数据，设计多流形重构算法揭示单模态内同时存在的多个不同维数流形结构；在对流形结构分析基础上，设计多模态流形传播学习算法，构建更逼近Web 图像语义的融合流形结构，为检索奠定准确的数据表示基础；以测地线距离为相似性策略核心，提出基于流形结构的检索排序算法，提高检索准确度；最后给出客观的自动评测方法，并迭代反馈来优化算法设计。.该课题将推动流形学习在真实复杂数据集上的研究与应用，提高Web 图像检索准确度，为开发下一代图像搜索引擎提供新思路和理论依据。

本课题是从黎曼流形空间视角，结合多模态学习，研究大规模Web图像检索，研究内容涉及Web图像检索几大流程环节。本课题组按原定计划顺利完成了各项研究要点，主要包括：（1）提出了基于SPD流形的自适应协方差特征提取算法，完成了流形特征提取。多特征协方差矩阵构成的SPD流形是一个连续光滑的黎曼流形，我们一方面采用更灵活快速的基于区域的积分区域协方差计算方法，提高了其计算速度并具有更好鲁棒性；另一方面通过混合策略即综合了区域积分计算、由粗到细的基于圆角的搜索方式来提高效率。（2）提出了基于流形结构的半监督混合高斯模型，实现了基于流形聚类的邻近结点传播学习。该模型将流形结构引入到半监督聚类算法中，依据标记和未标记样本的局部一致性，利用Kullback-Leibler散度构建近邻图以挖掘出样本内在流形结构，并将流形结构以图正则化的形式以及先验信息分别加入到混合高斯模型的目标函数中，提高了算法性能。（3）针对Web图像中存在众多人脸图像，提出了基于鲁棒稀疏编码的表情识别方法，完成了人脸图像的特征提取和表情识别。结合稀疏表示方法和LBP特征，取得更高识别率且对遮挡和噪声更鲁棒。（4）针对黎曼流形中较常用的特殊欧式群即SE(3)，为两个最重要的空间切换函数即LOG和EXP映射函数，设计了快速计算方法，实现了快速流形排序。（5）针对特殊的加密Web图像，我们提出了一种针对特定用户指纹的、高效的基于新型水印的主动的图像检测方法，实现对图像的快速检索排序，并用于基于Web的泄密图像快速检测和追踪。（6）提出了基于聚类分析的自训练分类算法，将半监督聚类综合到SELF-TRAINNING分类中以帮助训练一个更好的分类器，实现了检索结果自动分类，提升了检索结果自动评测。（7）针对特殊的遥感影像图像，设计了基于深度学习和Hough森林目标识别方法，实现对特殊图像的特征提取。一方面，提出了分层深度学习模型，通过设定特定意义的分层方法建立目标语义表征及上下文约束表征。另一方面，将Adaboost算法和Hough算法结合起来，在去除虚假目标和检测时间达到了平衡。该课题按照计划顺利完成，取得了一系列成果，包括发表论文19篇（SCI索引5篇次），获得专利1项，培养博士研究生3名、硕士研究生6名。同时，该项目有力推动了流形学习在真实大规模数据集中的研究和应用，为开发下一代图像搜索引擎提供了新的思路和理论依据。