复值神经网络及其学习算法研究

Complex-valued neural networks have got a wide attention in academia because of their strong mapping capability and good adaptability. However, complex-valued neural networks have some fundamental problems such as: blurry standard of the choice of the complex-valued activation function; lack of complex differentiability of the traditional cost function; excessive complexity of learning algorithms; and the deficiency of convergence analysis. These problems limit the application of complex-valued neural networks. Therefore, our project will focus on researches as follows: 1)We design a complex differentiable activation function which is almost everywhere bounded to make the network parameters fall into a singularity at zero probability; 2)Based on CR-differentiator theory,the general complex gradient method is used to depict the split-complex gradient learning algorithm，reduce complexity of the algorithm form，and pave way for the systematic research on the convergence of general complex gradient learning algorithms; 3)We employ regularization method to punish the weights of network，solve the singularity problem of fully complex gradient learning algorithms with analytic function，and study the convergence of the fully complex gradient learning algorithms; 4) According to the geometric characteristics of multi-valued neuron (MVN), we find a new MVN through a rotation transformation, design a new argument error cost function according to its characteristics, derive the learning algorithm of the new MVN by CR-differentiator theory, and study the convergence of the learning algorithms.

复值神经网络由于其映射能力强和适应性好的特点,受到学术界的广泛关注。但是复值神经网络面临一些本质性的问题，例如复激活函数的选取标准尚不明确，传统代价函数无复导数，学习算法过于复杂，以及算法缺乏收敛性分析等，从而限制了复值神经网络的有效应用。为此，本课题拟开展如下研究：1)设计一种几乎处处有界复可微的复激活函数，使得网络参数陷入其奇点处的概率为零。2)基于CR 微分算子理论，采用广义复导数方法刻画分离复梯度学习算法，降低算法表述的复杂度，为系统地研究广义复梯度类学习算法的收敛性奠定基础。3)引入正则化方法对网络权值进行惩罚，解决具有复解析激活函数的全复梯度学习算法中的奇点问题，进而研究这种全复梯度类学习算法的收敛性。4)根据多值神经元的几何特征，对多值神经元函数做旋转变换，发现一种新型多值神经元，针对其特点设计一种幅角误差代价函数，利用CR微分算子理论推导其学习算法以及研究算法的收敛性。

复数信号（雷达、声呐以及地震信号）普通存在于实际应用问题中。为了在复数域上直接处理这类信号，复值神经网络应运而生，然而复值神经网络面临一些新的困难与挑战，直接将实值神经网络的学习算法推广到复数域是不可行的。为此，本项目主要开展了如下的研究：1)基于CR微分算子理论，在统一框架下推导了具有解析以及非解析激活函数复值神经网络的复梯度类学习算法，并且对这种算法进行了收敛性分析；2) 通过旋转多值神经元的激活函数，我们提出了一种新型多值神经元，解决了原有多值神经元在二可分情况的不收敛问题，并且证明了这种新型多值神经元误差修正学习算法的有限步收敛性；3) 提出了超复数（四元数）函数的HR微分算子理论，并将其应用于四元数神经网络的学习算法设计与分析中。本项目的主要贡献是建立了一套适用于复值神经网络学习算法收敛性分析的理论，使得众多复梯度学习算法的收敛性问题能够在我们的理论框架下进行研究。本项目还解决了超复数（四元数）函数过于苛刻的可微条件，这为四元数神经网络学习算法的研究奠定了理论基础。