跨媒体协同计算及近邻可逆性问题研究

Currently, the spread of knowledge is increasingly of cross-media features. Therefore, how to obtain valuable information from cross-media data with diverse sources, various modalities, and complex properties has become an urgent problem. This project attempts to investigate the basic law and mechanism of cross-media collaborative computing and neighborhood reversibility so as to provide theoretical supports for correctly understanding the information in cross-media data. To this end, the project will focus on the following three aspects. Firstly, the project starts from the most basic problem of measurement and studies the effect of neighborhood reversibility on similarity measurement. Some novel approaches about reversibility verification and feature space construction are proposed in details. Then, the identification problem of effectiveness from mixed data is investigated from two views of cross-media data on the basis of reliable measurement. Finally, the project studies the key problem of the collaborative fusion, and focuses on the data fusion based on data isomorphic and an adaptive scheme of selecting weights for varied data objects. The project concentrates on the basic research and does not orient to any specific application. Therefore, its research achievements can be widely applied to cross-media search, decision making, hot event mining, user recommendation, etc.

当前，知识的传播越来越呈现跨媒体特性，如何从来源多样、形态多变、属性复杂的海量跨媒体数据中获取有价值的信息就成为亟待解决的问题。本项目拟以跨媒体数据为研究对象，探究跨媒体协同计算和近邻关系可逆性的基本作用机理和规律，以期为正确理解和感知跨媒体数据中所蕴含的丰富信息提供理论支撑。本项目拟从最基本的度量问题入手，研究近邻关系可逆性问题，探明近邻可逆性验证在相似性度量方面的作用机制，并研究满足近邻可逆关系的特征构建机制以及异构数据对象之间的近邻可逆性验证方法；其次，基于可靠的度量机制，研究混杂数据的有效性辨识问题，从数据的自然属性和社会属性两个方面探究数据的有效性；最后，研究跨媒体数据的协同融合问题，重点聚焦于基于数据同构的多源异构数据融合和多源异构特征自适应权重选择。本项目不以特定的应用为导向，而是注重于应用基础的研究，其研究成果可广泛应用于跨媒体搜索、决策支持、热点事件挖掘、用户推荐等领域。

跨媒体数据具有来源多样、形态多变、分布零散、属性复杂等特点，而传统的媒体计算方法难以对其进行分析和理解。如何从复杂多样的海量跨媒体数据中获取有价值的信息，是近年来国内外研究的重要问题。本项目以跨媒体数据作为研究对象，对跨媒体数据的近邻关系可逆性、有效性辨识以及异构数据的协同融合问题展开研究，为正确理解和感知跨媒体数据中所蕴含的语义信息提供理论和技术支撑。.本项目的主要研究内容包含三个方面。首先，我们从最基本的度量问题入手，通过研究近邻关系可逆性问题，探明其在跨媒体数据的相似性度量方面的作用机制；其次，基于可靠的度量机制，来探究同构数据的语义解析问题；最后，我们对跨媒体协同计算的问题展开研究，相应的研究成果被应用于多个具有实际意义的任务中。.在相似性度量机制的研究中，我们所取得的主要成果包括：提出了能够保留特征近邻关系可逆性的空间映射方法；提出了基于距离分布信息的相似性估计方法；提出了能够显著提升度量效率的局部特征二进制码嵌入算法；设计了一种针对CNN特征的显著的减少特征搜索的时间和内存消耗的索引算法；构造了能够根据权重分布来衡量深度模型预期性能的能量函数。在同构数据的语义解析问题的研究中所取得的成果包括：评估了不同量化方法对于语义理解的影响，为设计更好的量化算法提供理论支撑；提出了一种融合边缘信息和上下文内容的语义感知模型，实现了高精度的图像语义分割方法。最后，在跨媒体数据协同计算的研究中，本项目所取得的研究成果包括：提出了一种跨媒体的哈希方法来实现高精度的跨媒体检索；设计了能够融合视觉显著性和图像语义特征的特征提取模型，从而实现对噪声鲁棒的图像语义检索。.研究开展三年多以来，上述研究成果被发表在包括AAAI、ACMMM、TIP、TIE在内的等国际顶级会议和期刊，其中一些面向实际应用的研究成果已达到国际顶尖水平。这些研究成果可广泛应用于跨媒体搜索、决策支持、热点事件挖掘、用户内容推荐等领域。