多模态对象的相似度学习方法及其应用研究

利用机器学习技术对Web上的数据对象进行分析从而更准确高效地获取信息，是机器学习、Web挖掘和搜索等领域的研究热点之一。互联网上存在大量的多模态对象，要对这些对象进行有效的检索，就需要有效地度量多模态对象之间的相似度。与分别考察单模态之后再融合相比，在表示和学习过程中综合考虑多模态信息的交互与协作可望获得更好的性能，而为了达成这一目标，就需要设计出面向多模态对象相似度学习的机器学习新方法。本课题拟对此进行研究，提出能有效利用不同模态交互协同的相似度学习方法、能有效利用不同模态相容互补性的特征提取和选择方法、提出能够根据处理对象的不同而自适应确定待抽特征的方法、能有效利用用户交互提高利用未标注样本的可靠性的方法，并将理论成果用于Web信息检索原型系统。本课题可望在重要国际期刊、会议和国内一级学报上发表高质量论文5-8篇，申请国家发明专利1-2项，研制原型系统1个，培养研究生4-6名。

本项目对多模态对象的相似度学习方法进行研究，完成了原定研究计划并取得了以下主要成果：(1)提出了能够有效利用不同模态交互协同的相似度学习的方法；(2)提出了能够有效利用不同模态相容互补性的特征提取和选择方法；(3)提出了能够根据处理对象的不同而自适应确定待抽取特征的方法；(4)提出了能够有效利用用户交互来提高利用未标注样本的可靠性的方法；(5)设计并实现了Web图像检索原型系统。共发表/录用论文23篇，其中国际期刊3篇（含一流国际期刊《IEEE Trans. Neural Networks》 2篇）、国际会议12篇（含顶级国际会议AAAI、IJCAI、MM等5篇），国内一级学报4篇。论文已被SCI、EI、ISTP收录17篇次。获重要国际会议PRCAI’10最佳论文奖、IEA/AIE’11最佳论文奖、MobiQuitous’11最佳论文提名奖、2次全国性会议论文奖，获国家发明专利1项，培养了多名研究生。