基于事件驱动的稀疏分布式学习算法研究

The emergence of big data has subverted the traditional data storage and processing technology. Due to the distributed nature and the real time requirement of the data processing, it is very urgent for the large data mining and application. This project will apply the multi-agent optimization theory and event-triggered control technology to study the sparse distributed learning methods, which will solve the difficulty of distributed strategy for large-scale learning due to memory limitations, network security and privacy protection, and the problem of energy consumption for distributed algorithms under consideration of limited communication resources. We will prove the reliability of the algorithm by using the multi-agent system theory and algebraic graph theory, and provide a theoretical basis for practical applications of data mining and knowledge discovery under the circumstances of big data age. The algorithms studied in this research are fully distributed, scalable and robust. In the running process of the algorithms, local computation and communication are used to avoid direct sharing of original or sensitive data. From the viewpoint of information security and privacy protection, the algorithms have a wide range of applications, such as distributed compressed sensing, large-scale geographic information fusion and big data biological information analysis etc.

大数据的出现，颠覆了既有的传统数据存储和处理技术。由于产业数据的自身分布式属性和数据处理响应的实时性要求，对大数据的分布式挖掘与应用需求极为迫切。本项目将应用多智能体优化理论和事件驱动控制技术，重点研究基于事件驱动通信的分布式稀疏学习方法，解决一方面由于受计算机内存限制、网络安全和隐私保护因素影响大数据无法集中学习而采取局部分治策略的问题，另一方面考虑通信资源有限的情况下，解决分布式算法中尽可能降低通信能耗的问题，并运用多智能体系统理论和代数图论证明算法的可靠性，为大数据背景下进行数据挖掘和知识发现的实际应用提供理论依据。本项目研究的算法模型完全分布式，可扩展性和抗毁性强，算法运行过程中采用局部计算和通信，避免了原始或敏感数据的直接共享，从信息安全的角度保护隐私，在分布式压缩感知、大规模地理信息融合、生物信息大数据分析等方面有着广泛的应用前景。

随着互联网等信息技术的迅猛发展，各个应用领域的数据呈爆炸性增长。在大数据时代，迫切需要高效的数据挖掘技术对大规模数据进行分析和处理。本项目以分布式学习算法为研究对象，将具有大规模数据集的学习任务分布式部署到网络互联的多台机器上，利用分布式优化理论和多智能体控制技术，重点研究了具有稀疏特性的事件驱动分布式学习算法及其通信能耗问题。（1）本项目基于神经网络学习问题，建立了具体稀疏特性的L1正则化学习机的分布式模型，并研究了事件驱动的通信机制，设计了可行的驱动条件，保证分布式学习算法仍具有良好的性能，减少算法协作过程中的冗余通信。（2）本项目设计了基于周期采样的事件驱动分布式算法，借助多智能体优化中的设计思路，引入了采样控制策略，构造新的李雅普诺夫函数分析算法的收敛性和稳定性，减少算法中事件驱动的次数，从而进一步节省通信能耗。（3）本项目研究了分布式学习算法应用于地理、生物信息大数据分类，探讨了近红外光谱和土壤定量分析的机器学习应用问题。基于项目的研究成果发表SCI期刊论文7篇，EI会议论文6篇，培养了毕业硕士研究生3名。