融合多模态文本关联分析与挖掘的跨媒体社会图像检索方法研究

To satisfy the practical needs of large-scale social image retrieval under the environment of Internet, based on the basic theory of the traditional Natural Language Processing and Information Retrieval, this project focuses on researching the key techniques of multimodal text association analysis and mining in cross-media social image retrieval and constructing a novel implementation framework fusing with such multimodal text association analysis and mining techniques. Thus the in-depth exploration is triggered for the analysis and processing mechanisms of the multimodal text that is different from the traditional text, and even the cross-media social image retrieval strategies, which aims at providing an efficient, precise and easy-to-use intelligent assistant for social image retrieval users. In this project, multiple new key techniques for multimodal text in-depth analysis, processing, mining and imagination are deeply studied and developed to facilitate more effective cross-media social image retrieval with the stronger function and more perfect performance, which include automatic multimodal association network generation, automatic extraction of concept text term with multiple attributes, cross-modal semantic evaluation and disambiguation, cross-modal semantic expansion and optimization, cross-modal semantic ranking and filtering, especially cross-modal entity-object semantic association, cross-modal semantic aggregation association, and imagination oriented to multimodal text association analysis and mining, etc.

本课题在传统自然语言处理和信息检索基本理论的基础上，针对互联网环境下大规模社会图像检索的实际需要，侧重于研究跨媒体社会图像检索中多模态文本关联分析与挖掘关键技术，构建融合多模态文本关联分析与挖掘的跨媒体社会图像检索新颖实现框架，并由此引发针对有别于传统文本形式的多模态文本分析与处理、乃至跨媒体社会图像检索策略的深入研究，为社会图像检索用户提供一种高效、精确、易用的智能助手。其中，采取基于自动生成机制构建蕴涵丰富语义和视觉关联信息的多模态关联网络作为重要知识源，有效利用基于多重属性的概念文本项自动抽取模式、跨模态语义评估与消歧模式、跨模态语义扩展与优化模式、跨模态语义排序与过滤模式，特别是跨模态实体-对象语义关联模式、跨模态语义聚合关联模式、面向多模态文本关联分析与挖掘的联想机制等多种新型多模态文本深层次分析、处理、挖掘与联想关键技术，构成功能更加强壮且性能更加完善的跨媒体社会图像检索过程。

跨媒体社会图像检索研究位于跨媒体信息检索、图像检索、多模态文本关联分析与挖掘三者之间的交集领域。其所必需的多模态文本关联分析与挖掘关键技术，虽相对独立地研究较多，但离完全解决仍距离很远，特别是如何适用于针对大规模多样化信息源的跨媒体社会图像检索这一特殊环境中，依然是一个需要关注与解决的难题。本课题在传统自然语言处理和信息检索基本理论的基础上，侧重于研究跨媒体社会图像检索中所涉及的多模态文本关联分析与挖掘关键技术，从而建立一种融合多模态文本关联分析与挖掘的跨媒体社会图像检索实现框架，并由此引出针对有别于传统文本形式的多模态文本分析与处理、乃至跨媒体社会图像检索策略更为深入的研究，为更加有效利用多模态文本信息的关联分析与挖掘技术来提高跨媒体社会图像检索性能提出新途径。其主要研究成果涵盖面向跨媒体社会图像检索的多模态文本关联分析与挖掘方法研究、面向跨媒体社会图像检索的跨模态分析与处理方法研究、跨媒体社会图像检索策略研究与新探索、以及面向跨媒体社会图像检索的相关应用拓展研究四个主要方面。基于本课题相关研究工作，已在相关研究领域顶级国际期刊上发表与录用学术论文5篇（包括CCF A类国际期刊论文2篇、B类国际期刊论文3篇），在相关研究领域顶级与权威国际学术会议上发表与录用学术论文8篇（包括CCF A类国际会议论文4篇、B类国际会议论文3篇、C类国际会议论文1篇），在国内权威核心期刊与重要学术会议上发表与录用6篇，其中SCI检索与将被SCI检索论文5篇、EI检索与将被EI检索论文19篇。同时，申请国家发明专利8项，登记软件著作权4项，国家发明专利授权3项，国家发明专利转让2项。在进行国内外学术交流方面，课题组研究人员参加多个国内外相关学术会议与研讨会，并同与会的相关研究领域研究人员进行深入细致的探讨与交流，对于所进行的研究工作起到积极的推动促进作用，取得良好效果。同时，课题组研究人员积极开展与相关研究领域、相关课题之间的学术合作研究活动，拓展相关研究主题。