面向多模态混合语义相似性查询的可解释嵌入机制研究

The Internet is consisted of plentiful multi-modal data, and these data contain a great deal of valuable information. Hence, an efficient query method to acquire hybrid semantic similarities from the multi-modal data is required, especially in the field of information retrieval and data management. However, at present, the embedding mechanisms of the existing methods have some limitations, due to difficulties such as the high complexity of latent semantics, the low interpretability of data representation learning, the low amount of tagged data and the low efficiency of large-scale dataset query. To address this problem, the project will study the embedding mechanism with semantic integrity and interpretability by analyzing multi-modal data features, so that an efficient and accurate hybrid semantic similarity query model can be proposed. The main research contents include the following three subjects in order to achieve the semantic integrity, interpretability, adaptability and efficiency of hybrid semantic similarity queries. First, an embedded representation model with semantic integrity and interpretability will be constructed. Second, a training model based on semi-supervised learning will be proposed. Third, a hybrid semantic similarity query model and its indexing method will be designed. The research results will provide valuable theoretical innovations and systematic guidance to heterogeneous data query management with broad prospects.

互联网中存在着大量的多模态数据，其中蕴含着大量有价值的信息。对多模态数据进行信息检索和数据管理时，需要一种高效的混合语义相似性查询方法。然而，针对当前多模态数据中隐含语义复杂性高，数据表示学习模型可解释性低、标签数据量少、面向大规模数据集查询效率低等问题，现有的面向混合语义相似性查询的嵌入机制存在一定的局限性。基于此，本项目通过分析多模态数据特征，研究面向多模态数据的嵌入表示学习模型，进而设计高效准确的相似性查询模型。项目以实现混合语义相似性查询的语义完整性、可解释性、适应性和高效性为研究目的，其主要研究内容是：首先构建具有语义完整性和可解释性的嵌入表示模型，其次探讨基于半监督学习的训练模型，最后设计混合语义相似性查询模型和索引方法。该研究成果将为异构数据查询管理提供有价值的理论创新和系统性的指导方法，具有广阔前景。

互联网中存在着大量的多模态数据，对多模态数据进行信息检索和数据管理时，需要一种高效的混合语义相似性查询方法。本课题的目标是要解决多模态混合语义相似性计算的问题。该目标主要包含了两个层面，一是准确的多模态语义分析，构建统一的混合语义空间；二是面对大规模数据和高维数据特征时，可以进行高性能的相似性计算。因此，在本课题计划执行过程中，涉及统一语义构建、跨语义查询转换、多模态数据获取与预处理、大数据分析平台构建、复杂数据特征提取的深度学习网络架构构建等。.三年来，本课题组在多粒度图像文本的深度学习语义嵌入模型方面进行研究，以支持统一语义空间构建；在自然语言查询转SQL语句方面进行研究，以支持可解释的高速查询；在图像中的文字识别方面进行研究，以支持具有连续语义关联的OCR识别；在分布式环境下跨模态查询架构方面进行研究，以支持具有可扩展性的跨模态查询架构的构建；在基于云平台的文本情感分析方面的研究，以支持可交互的分布式情感分析平台的构建；在生物信息蛋白质溶解性分析应用和电极纤维纳米流道结构分析等跨领域应用方面的研究，以支持验证神经网络架构的通用性。.本项目应用数据库、数据挖掘、人工智能等理论，在跨模态查询、语义嵌入、可解释查询、大数据架构与算法、跨领域应用等方面取得了相应的研究成果。在国内外各种学术会议和期刊上发表了学术论文13篇（不包括仅录用未发表和未标注者），其中被SCI收录3篇次，EI收录4篇次。申请发明专利3项（其中1项已授权），获得软件著作权1项。