基于广义梯度算子的复数值及四元数值神经网络的学习算法研究

复数值神经网络和四元数值神经网络是传统实数值神经网络分别在复数域和四元数体上的推广和发展，在许多工程领域具有广阔的应用前景。梯度法是实数值神经网络的重要学习算法，已得到广泛研究。然而由于复数域和四元数体上的导数定义过于严格，梯度法用于复数值以及四元数值神经网络的训练时存在诸如算法收敛性不明确、算法表述形式复杂以及容易受奇点影响导致学习失败等问题。本项目拟利用CR广义复梯度算子简化复数值神经网络梯度学习算法的表述，利用HR广义四元数梯度算子简化四元数值神经网络梯度学习算法的表述，进而开展如下研究：研究分离复梯度学习算法的收敛性，给出易于验证的判别条件；对误差函数添加惩罚项，解决全复梯度学习算法的奇点问题；设计合理的动量项参数，证明带动量项复梯度学习算法的全局收敛性；在上述工作的基础上，对分离四元数梯度学习算法开展对应研究。本项目具有重要的理论意义和应用价值，必将进一步促进神经网络研究的发展。

在本项目的支持下，项目组围绕复数值及四元数值神经网络的梯度学习算法所存在的收敛性不明确、收敛速度慢、算法表述形式复杂以及容易受奇点影响导致学习失败等问题，从算法设计和算法分析等方面开展研究，取得如下成果：.（1）为了提高具有分离复（split-complex）激活函数的复数值前馈神经网络的训练效率，我们对分离复梯度学习算法添加动量项以提高算法的收敛速度，同时添加惩罚项来提高网络的泛化能力。我们建立了关于学习率、动量项系数、惩罚项系数以及激活函数的较为宽泛的条件，在此基础上证明了算法的权值有界性、误差函数的单调下降性以及收敛性。.（2）通过引入复数域的微分中值定理及积分型泰勒中值定理，严格证明了基于Wirtinger梯度算子的批处理全复梯度学习算法的收敛性，并将结果进一步推广至样本分块投放的全复梯度学习算法，从而在理论上说明解析函数以及仅有有限个奇点的函数均可作为复数值神经网络的激活函数。.（3）针对分离复反馈神经网络，我们提出一种动量项选取算法，让学习率及增益率随着权值及误差函数关于权值的梯度的改变而自适应变化。数值结果验证了该方法的有效性。.（4）尝试用光滑函数逼近L0正则子，进而提出一种具有光滑化L0正则项的神经网络梯度学习算法。分析了由该算法所训练的神经网络的稀疏性，并证明了算法的收敛性。.（5）对基于混沌注入的梯度学习算法进行研究，建立了可保证算法收敛的关于学习率、混沌项系数以及激活函数的条件，并进一步证明了在该条件下算法的确定型收敛性。.在本项目的资助下，项目组已发表SCI期刊论文7篇、EI论文3篇，获得辽宁省自然科学学术成果奖1项。