基于协同粒化的异构多模态数据高效约简与融合及其应用

In the era of big data, complex data is characterized mainly by its volume and its variety. There are big differences between different multi-modal data's low-level features, and popular methods are usually to extract features from each modal data independently and then to integrate the features simply, without any collaboration between modal data, and fail to consider semantic relativity for various modal data. This means that these methods have disadvantages when dealing with multi-modal data. In this project, we focus on the problem of efficient attribute reduction and fusion for heterogeneous multi-modal data through collaborative granulation. Specially, it includes the followings: (1) We study on collaborative granulation for neighborhood granules, and then construct an unified expression model for multi-modal data, which is tolerance granulation models. (2) We research on granulation knowledge spaces, which are based tolerance granulation models, and analyze their related mathematical properties. (3) By using spectral graph's ability to approximate semantic micro-structure in low-level feature, we investigate methods for designing heuristic functions in granulation knowledge spaces; we investigate how to reduce search spaces by using homomorphic mapping, and propose fast methods for computing neighborhood granules based on tolerance granulation models, thus efficiently visiting nodes in granulation knowledge spaces. As a result, related analysis theory and efficient methods for attribute reduction and fusion are generated to deal with heterogeneous multi-modal data. (4) We apply the proposed analysis theory and methods to public opinion analysis for ASEAN, and develop a Chinese public opinion analysis system oriented to ASEAN, which can provide public opinion analysis services for relevant departments in Guangxi and ASEAN.

大数据时代，海量性和多模态性是数据复杂性的基本特征。因不同模态数据的底层特征有很大差异，主流方法通常对各模态数据分别提取特征，然后简单集成，模态间缺乏协同操作，未能顾及数据在语义上的一致性或相关性。这暴露了这些方法在处理多模态数据上的局限性。为此，本课题通过协同粒化方法研究异构多模态数据下的高效约简与融合问题，包括：（1）研究邻域粒的协同粒化方法，构建多模态数据的统一表达模型——相容粒化模型。（2）研究构建粒化知识空间并分析其性质。（3）利用谱图对语义微结构的逼近能力，研究粒化知识空间中启发函数的构造，探讨基于满同态映射的搜索空间缩小方法，以及研究基于相容粒化模型的邻域粒快速计算方法，实现对节点的快速访问。在此基础上，提出针对异构多模态数据约简与融合的高效方法及有关分析理论。（4）将提出的方法和技术应用于东盟舆情分析，开发面向东盟的中文舆情分析系统，为广西和东盟等有关部门提供舆情分析服务。

针对多模态数据在底层特征表达上的差异性和异构性而导致难以综合利用和开发的问题，本项目通过多层面、多角度的协同粒化等方法，构建参数化的相容粒化模型，为不完备数据环境下不同模态数据提供统一的表示方法，实现异构多模态数据环境下的高效属性约简与特征融合，形成多模态数据综合分析和开发的相关理论、方法和技术，为多模态数据分析与挖掘提供理论和方法支撑，同时将形成的方法和技术应用于东盟舆情分析，开发面向东盟的舆情分析系统（原型系统）。实际的研究内容主要体现在以下几个方面：（1）构建了参数化相容粒化模型，为不完备数据环境下离散和数值两种类型的模态数据提供统一的表示方法，并提出了一套面向多种模态混合的数据分类方法；（2）研究了基于相容粒化模型的粒化知识空间及高效属性约简与优化问题；（3）结合深度学习方法，从多层面、多角度对多模态数据融合与分类等问题展开了深入研究，为多模态数据的综合应用奠定基础；（4）在图像描述、多模态数据检索、粒化聚类分析等领域中展开了面向多种模态数据的研究工作，拓展了多模态数据分析的应用范围；（5）集成提出的多模态数据分析方法和技术，开发一套面向东盟舆情的多模态数据分析系统（原型系统）。在本项目支持下，在本项目支持下，一共获得33项成果，其中发表学术论文19篇，包括新版中科院SCI一区Top期刊论文2篇、SCI三区论文1篇，出版人工智能著作1部，获得广西自然科学技术奖三等奖1项，获得软件著作权3项，完成9篇学位论文；在该项目支持下，已培养硕士研究生9名。这些成果初步形成了一套面向多模态数据综合利用和开发的解决方案，在多模态感知应用场景下可为数据的综合利用和开发提供有效的方法和技术支持。