传感器网络中分布式鲁棒信息论学习研究

Wireless snesor network has a broad range of applications, including industrial, agricultural, and military applications. Distributed information processing is a major research topic of sensor network. Distributed information processing techniques process data in-network, other than send all the data to a fusion center and process them centralizedly. Distributed information processing has received more and more attention in recent years dut to its advantages of saving bandwidth, saving energy, and robustness. Here, we concentrate on distributed estimation. In traditional estimation method, second-order moment of the errors is usually used in defining the objective function, which is optimal only when the error distribution is Gaussian. However, this condition does not always hold in real-world environments. In non-Gaussian cases, the information theoretic learning (ITL) provides a more suitable framework and has a better performance. Information theoretic learning uses error entropy as the objective function, which takes the whole information of the error distribution other than only the second-order moment into account. On the other hand, in most of existing distributed estimation literatures, the considered model only contains noise in output. However, in many real-world applications, both the input and the output are contaminated by noises.This kind of model is called EIV (errors-in-variables) model. In this project, we research on distributed robust information theoretic learning method for estimating parameters in EIV model. We will first present an information-theoretic criterion suitable for EIV model, and then systematically develop a set of distributed robust information theoretic learning methods for ordinary distributed estimation, distributed sparse estimation, distributed multi-task estimation, and distributed estimation in complex-valued EIV model.

无线传感器网络在工业、农业、军事等领域具有十分广泛的应用。传感器网络中的分布式信息处理在网处理信息而不是将数据传递到中心处理单元进行处理。它具有节省通信资源、耗能低、鲁棒性强等优点，近年来受到了广泛的关注。本项目主要关注分布式估计问题。在传统的估计方法中，通常以误差的二阶矩作为目标函数，它在估计误差服从高斯分布时才是最优的。信息论学习为非高斯信号处理提供了一个更适合的框架，它以误差熵作为目标函数，综合考虑了误差的分布信息而不仅是二阶矩。另外，在大多数分布式估计文献中，所考虑的数据模型仅输出受到噪声干扰，然而在实际中经常输入输出都有噪声干扰存在。本项目针对输入输出都有噪声干扰的EIV模型，开展分布式鲁棒信息论学习研究。本项目将建立一个适合于EIV模型的信息论学习准则，并系统地建立一套分布式鲁棒信息论学习方法，研究的对象包括一般的分布式估计、分布式稀疏估计、分布式多任务估计、复值分布式估计。

近年来，随着传感器网络、分布式计算系统等分布式应用的蓬勃发展，分布式估计问题受到了越来越多的研究者的关注。相比于基于二阶矩的方法，信息论学习为非高斯噪声下的估计问题提供了更合适的框架。另外，在实际应用中，输入输出都有噪声干扰存在的EIV模型是比仅输出受到噪声干扰的模型更为常见的模型。本项目针对输入输出都有噪声干扰的EIV模型，开展了分布式鲁棒信息论学习研究。首先，本项目定义了适用于一般的EIV模型的总体误差熵准则，这是整个项目研究的基础，并基于此准则提出了最小化总体误差熵参数估计算法。接着，本项目系统地研究了分布式鲁棒信息论学习方法，针对具体的四类估计问题，即一般的分布式估计，分布式稀疏估计，分布式多任务估计和复值分布式估计，开展了研究。具体地，针对一般的分布式估计问题，本项目设计了分布式鲁棒信息论学习算法。本项目对分布式环境中的两类学习问题，即监督学习和半监督学习，分别提出了基于最小总体误差熵的分布式陷波器滤波算法和基于多种信息论准则的分布式半监督度量学习算法。针对分布式稀疏估计问题，在前文工作的基础上，本项目提出了基于最小总体误差熵的稀疏分布式陷波器滤波算法。在算法中，我们采用了几种不同类型的稀疏性测度，包括Lp范数和基于信息论的稀疏性测度。针对分布式多任务估计问题，本项目讨论了两种不同的多任务情况，并针对这两种多任务情况，分别设计了合理的目标函数。根据设计的目标函数，我们推导出了相应的基于EIV模型的多任务分布式鲁棒信息论学习算法。针对复值分布式估计问题，本项目首先把TEEC拓展到复数域，提出了复值总体误差熵准则，并基于此准则提出了基于最小复值总体误差熵的分布式陷波器滤波算法。本项目的研究成果丰富了分布式信息处理理论，并为具体实际应用如智能农业、环境监测、频率估计等提供了理论支持。