多媒体问答中的若干关键问题研究

近年来多媒体数据的爆炸式增长给检索技术带来了新的机遇和挑战：如何高效地满足用户信息查找的需求。在此背景下，多媒体问答技术应运而生。与检索技术不同，多媒体问答致力于直接返回给用户精确的答案而非根据相关性排序的信息列表。本项目以申请人在多媒体问答及相关领域的前期工作为基础，探索提出多媒体问答的完整技术路线，并围绕技术路线中若干亟待解决的问题展开研究：提出多媒体问答中答案类型的自动选择，以建立多媒体问答与检索技术之间的联系；提出融合显式和隐式语义概念的视频检索和社会化媒体中视频的镜头标注，着力提升视频检索的性能从而间接促进多媒体问答的发展；提出主题多样化视频重排序算法，以确保检索结果相关性的同时最大化信息覆盖，便于摘要技术分析合成得到精确答案。在此基础上，搭建分布式数据处理平台，实现多媒体问答系统的在线发布。

多媒体问答技术是在多媒体数据爆炸式增长的背景下提出的高效智能的信息检索技术。多媒体问答致力于直接返回给用户精确的答案而非根据相关性排序的数据列表。本项目以申请人在多媒体问答及相关领域的前期工作为基础，探索提出多媒体问答的完整技术路线，并围绕技术路线中若干亟待解决的问题展开研究。通过本项目的研究，我们在多媒体问答的几个关键科学问题上均取得了显著进步：1）首次明确定义了多媒体问答技术，提出其技术内涵和外延，成果发表在IEEE Multimedia和中国计算机学会通讯上；2）提出基于多示例学习并结合语义共生关系的图像标注技术，提升了标注的性能，成果发表在IEEE TC上；3）提出为多媒体问答所借鉴的两种媒体内容呈现方式，发表在IEEE TMM上；4）提出一种图像质量评价的方法，为选择高质量答案奠定了基础，成果发表在Information Sciences上。在此基础上，与新加坡国立大学计算学院合作共同搭建分布式数据处理平台，实现了多媒体问答系统的在线发布。