图文混合跨媒体知识单元的模糊分类方法研究

Topic label of the cross-media knowledge unit confining to image and text possesses vagueness and subjectiveness，which challenges the fast and effective acquisition of knowledge. This project studies the issue of fuzzy classification of the cross-media knowledge unit aiming to analyzing problems of sparse feature，heterogeneous modal and vague topic label. Three key questions are addressed in the project. Firstly, in consideration of the sparsity, we investigate the feature construction of image and text knowledge unit respectively. Secondly, learning-dependency among the cross-media knowledge units and the relation between image and text with common topic labels are mined to support the consistent presentation and fuzzy classification of cross-media knowledge units. Thirdly, we develop a novel consistent presentation model on the basis of learning-dependency among the cross-media knowledge units. Moreover, we study the issue of fuzzy classification of cross-media knowledge units on the basis of the consistent presentation model. Above all, this project helps to enrich and improve the theories and methods regarding to cross-media knowledge units. Furthermore, it contributes to overcoming the single modal problem of knowledge unit and providing theoretical and technical support for building management and service platform of cross-media knowledge.

图文混合跨媒体知识单元的主题模糊不确定性对知识的快速有效获取提出了挑战。本项目针对图文混合跨媒体知识单元特征稀疏、模态异构及主题模糊不确定等问题，研究开放知识资源中图像文本两种模态数据共存的复杂多媒体知识单元模糊分类问题。拟解决的关键问题包括：一、针对图文混合跨媒体知识单元特征稀疏性，分别研究图像、文本知识单元的抽取和特征构建问题。二、挖掘图文混合跨媒体知识单元之间学习依赖关系及语义相关图像-文本知识单元之间认知辅助关系，为图文混合跨媒体知识单元一致性表示和分类提供支持。三、提出基于学习依赖关系的图文混合跨媒体知识单元一致性表达模型；并在此基础上，研究图文混合跨媒体知识单元多主题模糊分类问题。本项目一方面有助于丰富和完善图文混合跨媒体知识单元研究的理论与方法，另一方面有助于克服现有知识单元模态单一问题，为构建新型跨媒体知识管理和服务平台提供理论和技术支持。

用于描述特定问题域中具有相对独立性和完整性的概念、算法和定理等的知识单元往往以文本、图片和视频等多种媒体表达形式分散在各类开放知识源中。图文混合跨媒体知识单元的主题模糊不确定性对知识的快速有效获取提出了挑战。本项目围绕“单模态特征抽取—跨模态关联挖掘—跨模态分类检索”的研究思路展开研究，取得了以下关键成果：（1）分别针对文本、图片形式知识单元提出相应的特征抽取和语义识别方法，模型鲁棒性强，算法复杂度低，有效的缓解了知识单元特征稀疏问题和“维数灾难”问题；（2）提出了基于主题关联模型的非概率跨模态知识单元关联挖掘方法，实现了同语义不同模态知识单元的关联预测；（3）借鉴人类从易到难的认知规律，提出了基于自步学习理论的非线性跨媒体一致性表达和检索方法；（4）开发了知识单元检索原型系统，并面向E-learning进行实证测试与验证。本项目的研究成果有助于丰富和完善图文混合跨媒体知识单元研究的理论与方法，为构建新型跨媒体知识管理和服务平台提供理论和技术支持。