物联网中跨媒体数据融合关键技术研究

Data aggregation is an effective way to reduce redundant data and improve data collection efficiency and enhance network service performance. Existing research work in Internet of Things focused on the aggregation of single media and same attribute data and neglected cross-media aggregation between multi-media and multi-attribute. In order to make up the deficiency of existing research, this project put forward three kinds of cross-media aggregation schemes: 1) cross-media aggregation based on neural network. It increases data collection efficiency by use of multi-input and single-output neural network to collect local data and multi-input and multi-output neural network to gather global data. 2) cross-media aggregation based on canonical correlation analysis. It narrows semantic gap by relating different media data. First, audio-image cross-media similar features matrix will be proposed. Second, correlation coefficient will be obtained by the reduction of similar features matrix's dimension. 3) adaptive layered cross-media aggregation. First, the mapping function will be established between sensation coverage and the radius and layers of aggregation. Second, an adaptive mechanism will be proposed to adjust the samples of data and the layers of data aggregation based on sensation attribute for shortening aggregation delay. The research results will improve the theory and method of data aggregation in Internet of Things.

数据融合是减少冗余数据、提高网络采集效率、增强网络服务性能的有效方法之一。现有物联网数据融合方法集中于对单一媒体、相同属性数据间的融合，无法实现多媒体、多属性的跨媒体数据融合。为此，本项目提出三种跨媒体融合方法：1）基于神经网络的跨媒体数据融合。它分别通过簇内多入单出的神经网络融合局部采集数据和簇间多入多出的神经网络融合全局采集数据的方法提高数据收集效率。2）基于典型相关分析的跨媒体数据融合。在形式化描述的基础上构建音频-图像等跨媒体特征相似矩阵，通过降维处理，近似求解最大相关系数，采用关联方法实现数据融合，缩小异构媒体的"语义鸿沟"。3）自适应分层跨媒体数据融合。首先建立感知覆盖范围与融合半径、融合层数的函数关系。其次，在网络分层的基础上，根据数据属性自适应确定融合样本数、融合层数，达到缩短融合延时的目标。本项目研究成果既有助于完善物联网中多媒体数据融合理论，又具有很强的工程意义。

物联网是一种由多种网络融合而成的异构网络。在物联网的众多研究领域中，数据融合始终是研究热点之一。本项目的总体目标是完善物联网中跨媒体数据融合的理论，消除单一媒体数据的“二义性”，提高网络数据收集效率和增强网络服务整体性能。.本项目在深入研究单一媒体属性数据融合方法和特性的基础上，运用图像处理的相关算法处理多媒体数据，实现了多媒体数据的同维表达，提升了数据处理准确率、降低时延等性能，进而实现了异构数据的形式化描述，高维数据的降维以及跨媒体的特征提取，缩小了异构媒体的“语义鸿沟”。.在深度学习框架中进行了跨媒体检索的探索与实践，基于哈希检索基本原理，构建了两种基于卷积神经网络的跨媒体哈希检索模型:基于词词相似矩阵的监督哈希跨媒体检索模型和基于余弦距离损失函数的监督哈希跨媒体检索模型。.提出了基于类马氏相关性度量跨媒体检索方法，解决了不同模态间数据维度不统一所造成的“维度灾难”和跨媒体检索时间复杂度高的问题。.对异构数据的相关属性进行分析，提出了跨媒体数据分类和自适应分层融合方法，达到缩短融合延时的目标。.提出了一种适用于物联网的低碰撞MAC算法，实现免碰撞从而提高网络吞吐量，有利于提高跨媒体数据融合的效率。.以上理论成果的提出，丰富了物联网环境下跨媒体数据融合的理论基础和实用方案，培养了一批物联网领域的研究骨干。