针对时变复数问题的复值递归神经网络模型设计和理论研究

In the real domain, recurrent neural networks have been widely applied to online solution of various time-varying and time-invariant problems. However, in the complex domain, most of neural networks focus on time-invariant problems solving, where the complex numbers are often divided into their real and imaginary parts, and then processed respectively. Based on the above considerations, this project tries to propose a fully complex-valued recurrent neural network for time-varying complex-valued problems, which has an important role in promoting the development of neural networks. Specifically, the research content of this project mainly includes three parts. 1) For time-varying complex-valued problems solving, by defining a fully complex-valued error function and a linearly-activated evolution formula, we will propose a linearly-activated complex-valued recurrent neural network model. 2) On the basis of the research on the linearly-activated complex-valued recurrent neural network, we further investigate the nonlinearly-activated complex-valued recurrent neural network model via using two ways. One is to operate the real part and the imaginary part of a complex number and the other is to operate the modulus and the argument of a complex number. 3) Based on the above single complex-valued recurrent neural network model, various different complex-valued recurrent neural network models are proposed for solve the same time-varying complex-valued problems by defining different complex-valued error functions.

在实数域中，递归神经网络已经广泛应用到求解各种时变和时不变问题。但在复数域，大多数神经网络模型都是集中在求解时不变问题，而且基本上是把复数分成实部和虚部分别处理。鉴于此，本课题以时变复数问题为研究对象，并将其看作一个整体对待，拟提出一类完全复数取值的复值递归神经网络模型，这对于推动神经网络的学科发展具有重要的理论和实际意义。具体而言，本课题的研究内容主要包括：1）针对时变复数问题求解，通过定义一个完全复数取值的误差函数和一个线性激励的演化公式，拟提出一类线性激励的复值递归神经网络模型；2）在线性激励的复值递归神经网络模型的研究基础上，进一步研究非线性激励的复值递归神经网络模型，其非线性化处理方法主要包括实部虚部法和复值相位法；3）针对以上单一的复值递归神经网络模型，进行多样化处理，具体通过定义多个复数取值的误差函数，拟提出多个能求解同一时变复数问题的复值递归神经网络模型。

随着信息时代的不断发展和壮大，复数问题的求解与应用变得越来越普遍。因此，针对复数问题提出更加高效的求解方法亟待解决。本项目关于针对时变复数问题的复值递归神经网络模型设计和理论研究取得了丰富的研究成果。.一、时不变/时变复数问题求解。主要通过构建新的非线性激活函数以及模型演化公式研究了求解时不变/时变复数问题的复值递归神经网络，对提高求解时不变/时变复数问题的计算效率有着重要的意义。.二、复值连续型/离散型递归神经网络。基于sign-bi-power激活函数和积分演化公式的复值连续型递归神经网络模型以及基于欧拉正向差分公式的复值离散型递归神经网络模型对改进复值递归神经网络的稳定性、收敛性、容噪性以及计算精度具有积极的作用。.三、有限时间和预定义时间收敛递归神经网络。主要通过不同的非线激活函数对递归神经网络模型的有限时间收敛性以及预定义时间收敛性进行了研究，为其在实际工程中的应用提供了充分的理论支撑。.四、时变参数递归神经网络。为了更好地满足递归神经网络在硬件实现中的需求，研究了分段时变参数和arccot型时变参数等。时变参数可以规避传统常数参数固定不变的不足，同时可以极大地改进递归神经网络的收敛性或容噪性。.五、积分控制和模糊控制递归神经网络。通过在递归神经网络中引入积分控制和模糊控制可以提高递归神经网络模型的的收敛性、鲁棒性以及自适应性。积分控制和模糊控制的运用对递归神经网络模型适应复杂环境或噪声环境的变化具有重要的作用。.六、时变实数问题求解。除复数问题以外，针对时变Lyapunov方程、时变Sylvester方程、时变二次优化问题、时变非线性方程、时变伪逆、时变线性不等式等时变实数问题也进行了相关研究，为时变实数问题提供了更加高效的求解方法。.七、递归神经网络的应用。研究了递归神经网络在高维时变问题中的应用，同时也成功将递归神经网络应用于混沌系统、多智能体运动、图像处理、目标定位等领域，由此充分体现了递归神经网络的实际价值。