跨媒体检索中异构特征的综合学习机制与算法研究

传统基于内容的多媒体检索研究，主要是针对单一类型的多媒体对象，包括图像检索、音频检索、视频检索等。这些研究大多不能支持不同类型多媒体对象间的检索，即：跨媒体检索。本项目针对跨媒体检索中异构特征的综合学习问题，提出从视觉、听觉等内容特征，以及链接关系、注释关系、包含关系等非内容特征中挖掘潜在的跨媒体语义，使得提交一种类型的多媒体查询例子，可以检索到相似语义，但不同类型的多媒体对象；考虑到系统自适应性和可扩展性要求，拟通过直推式学习和主动学习等方法增强系统的泛化能力，并设计相关反馈过程中跨媒体知识的更新策略，以及数据库以外多媒体对象的定位机制。本项目发展了传统的单一类型多媒体检索方法，融合了统计分析、机器学习、多媒体语义理解等方面的前沿技术理论，在教育、信息产业、医学诊断等领域有广泛的应用前景。

不同于传统的针对单一类型多媒体数据的检索研究，跨媒体检索为不同类型多媒体数据的无缝融合和综合检索提供了新的思路。本项目从跨媒体数据库中，提取图像、音频、文本等不同类型样本的底层内容特征，对这些异构特征进行语义提取和建模，取得了一些有意义的新结果：给出了基于关系矩阵融合的跨媒体特征分析算法，以及跨媒体稀疏子空间映射方法，解决了跨媒体数据环境下高维异构特征的统一降维和表达问题；提出了跨媒体特征空间中局部几何线性结构和用户交互信息相融合的算法，给出了内容特征和非内容特征双重层面的跨媒体数据关系挖掘和拟合方法；提出了基于局部预测误差最小化的半监督度量算法，解决了跨媒体检索中未标记样本与标记样本的融合问题；并给出了数据库以外新数据的引入和学习器的优化方法。本项目的系列结果为跨媒体检索研究提供了新思路，在web检索、医学诊断和数据聚类等方面有重要的应用前景。