基于信号统计特征及复学习率的复值神经网络学习算法研究

As a hot research topic in neural network field, complex-valued neural networks (CVNN) have great potential applications in disciplines including communication systems, image processing and data analysis. Because of the geometric meaning of complex numbers, complex-valued signals (CVS) and CVNN exhibit many special statistical characteristics compared with their real counterparts, which brings a big challenge for the design and analysis of the learning algorithms for CVNN. In real applications, traditional learning algorithms for CVNN tend to produce suboptimal solutions without taking into full account the statistical properties of CVS, stochastic noises, network structure optimization, and the essence in optimization problem with respect to complex variables. To this end, we plan to carry out the following research: by considering the conjugate information of the CVS, we will design learning algorithms to capture the full second-order statistics; we will clarify the effects of the stochastic noises on the generalization capability of the networks as well as the convergence and stability of the learning algorithms, and establish the conditions to distinguish beneficial noises from destructive ones; we will provide further insights into the essential nature of the complex learning rate in enhancing the performance of the algorithm, based on which we design a class of complex gradient algorithms with complex learning rate for fast convergence; we will construct sparse regularizers with complex variables, and design complex gradient algorithms with regularization for the network structure optimization. This project aims to uncover more essential natures of CVNN and its learning algorithms, which will greatly enrich the neural network theory and extend its application range.

复值神经网络在通信、图像处理、数据分析等领域具有广阔的应用前景，是神经网络领域的研究热点之一。源于复数的几何意义，复值信号以及复值神经网络表现出远比实值情形更为丰富的统计特性，这为复值网络学习算法的设计和分析提出了挑战。传统复值网络学习算法作为实值情形的自然推广，缺乏对复值信号统计特征、随机噪声、复优化问题特性以及网络结构优化的充分考量，在实际应用中往往只能得到次优解。为此，本项目拟开展如下研究：引入复值信号的共轭信息，设计构造能充分学习其完全二阶统计特征的学习算法；明确随机噪声对网络泛化能力以及学习算法收敛性和稳定性的影响，给出破坏性噪声和有益噪声的判据；进一步挖掘复值学习率提高算法性能的内在机理，设计一类基于复值学习率的快速算法；构造复变量稀疏正则子，设计面向网络结构优化的稀疏正则化复梯度学习算法。本项目将深入挖掘复值网络及其学习算法的内在本质，丰富和拓展神经网络的理论体系和应用范围。

复值神经网络具有比传统实值神经网络更强的映射能力和处理复值数据的天然优势，在信号处理、数据挖掘、模式识别、生物医学信息处理、自动控制等多个工程领域具有广阔的应用前景。.本项目面向复值神经网络研究的难点和重点，建立了一套较为系统的复值及四元数值神经网络的算法设计分析方法和理论体系。取得的主要研究成果如下：.1. 根据复值及四元数值信号统计特征的最新进展，项目组对复值及四元数值神经网络从模型构建和算法设计两个方面开展研究，使其能够完全获取信号的二阶统计特征，并从计算复杂度的角度对算法进行优化。.2. 对带动量项的复学习率复梯度学习算法、正则化复梯度学习算法、小批量复梯度学习算法、复拟牛顿学习算法以及多值神经网络的复梯度学习算法开展研究，在算法设计和收敛性分析方面得到一系列重要结果。.3. 基于GHR梯度算子，建立了四元数神经网络的四元数梯度学习算法、近似四元数高斯牛顿法以及四元数Levenberg-Marquardt学习算法的迭代公式和收敛性理论。.另外，项目组还在深度神经网络的快速学习算法以及特殊矩阵理论方面做了一些有益探索。.项目研究期间，共发表密切相关论文17篇，其中SCI源刊10篇，EI源刊论文1篇，国际会议论文6篇；通过合作攻关，建立了一套较为系统的复值及四元数值神经网络的算法设计分析方法和理论体系；培养青年学术骨干2名，有7名硕士研究生围绕本项目研究完成了硕士学位论文；获辽宁省自然科学三等奖一项，辽宁省和吉林省自然科学学术成果二等奖各一项。.本项目的研究成果，进一步揭示了复值神经网络的统计学意义和复值学习率在学习过程中的作用机制，所形成的算法和理论可直接应用于信号处理、生物医学信息处理、数据挖掘等领域，具有重要的科学理论意义和广阔的潜在应用价值。