面向多模态大数据融合的细粒度共享表征空间构建方法研究

Multimodal big data fusion is a key issue to deal with big data problems. To fuse the multimodal big data, the mainstream methods are based on shared representation space learning. However, the performance of these methods used in many applications is influenced by lacking of considering the alignment of the raw multimodal big data and the semantic accuracy of the shared representation space learning network. To tackle this problem, this project proposes the methods of fine-grained shared representation space learning used in multimodal big data fusion, which includes research of the alignment model for the multimodal big data, especially for images and videos, to provide the corresponding multimodal data source which fits the following shared representation space learning network; research of the fine-grained shared representation space architecture to match the local multimodal data and the network structure; research on the semantic-correlation-based loss function for the shared representation space learning network in order to drive the whole system and then obtain the optimal fine-grained shared representation space. This project has the ability to dig out the multilevel semantic relationship of the multimodal big data, thereby improving the application performance. It will also provide more intelligent and accurate technologies applied in the scenarios related to multimodal big data fusion, thus facilitating the development of multimedia technology and artificial intelligence.

多模态大数据融合是大数据研究中的关键问题。为实现多模态大数据的融合，现有主流方法都是基于共享表征空间的构建，然而这类方法并未深入考虑数据源的对齐性和共享表征空间的语义表征精确性，导致应用效果差。针对该问题，本项目提出了面向多模态大数据融合的细粒度共享表征空间构建方法，具体包括：研究以图像和视频为主的多模态大数据对齐模型，提供各模态数据一一对应的数据源，来适配共享表征空间学习网络；研究基于注意力模型的细粒度多层学习网络结构设计，完成多模态数据局部信息匹配以及共享表征空间学习网络的构建；研究基于语义相关性的共享表征空间学习网络代价函数定义方法，用于驱动和训练整个网络，得到最优的细粒度共享表征空间。本项目通过挖掘多模态数据的多层次语义关联，构造更匹配任务需求的细粒度共享表征空间，提升多模态数据融合的应用效果，从而更加智能、准确地应用于多模态大数据融合的相关场景中，推动多媒体技术和人工智能的发展。

针对多模态数据源的异质性导致的语义表征精确性差的问题，本项目深入研究面向多模态大数据融合的细粒度共享表征空间构建方法，具体包括：1)研究多模态数据的联合特征提取及融合方法，基于深度学习和压缩感知等方法提供更多样化、更全面的多模态数据特征，来适配共享表征空间学习网络；2)研究细粒度多层学习网络结构设计，基于图模型和关系图融合等方法构建共享表征空间学习网络；3)研究细粒度共享表征空间代价函数构造方法，基于时域滤波器和时空相关性推理等方法驱动和训练整个网络。本项目通过挖掘多模态数据的多层次语义关联，构造更匹配任务需求的细粒度共享表征空间，提升多模态数据融合的应用效果。本项目大幅提高了多模态数据融合的精确度和鲁棒性，研究成果为多模态大数据的实用化奠定了理论基础。在本项目资助下，已发表或录用国际主流期刊论文11篇，申请/授权国家技术发明专利6件（其中已授权专利4件），已登记软件著作权6项。有8名博士/硕士研究生参研本项目，其中5名学生已毕业，在研学生3名；参加国际会议或研讨会5次。目前取得的研究成果已经达到项目申请时的预期成果要求，并将在今后3年内继续整理输出相关研究成果。