复值模糊神经系统的学习算法设计及确定型收敛性研究

Complex-valued fuzzy neuro system is the generalization and development of traditional fuzzy neuro system, which not only has learning ability, but also is good at simulating people’s thinking, so as to solve many nonlinear, uncertainty of complex problems that traditional technology unable to solve. However, it has a numerous structure and a complex form for learning algorithms. These disadvantages are considered as the brief bottlenecks of this system. The aim of this project is to provide some new ideas and methods for the studies of network construction methods and learning algorithms, and extend our convergence theories from the real-valued fuzzy neuro system to the complex-valued one. Firstly, L-1/2 regularization in information processing theory is explored in pruning theory of split complex-valued fuzzy neuro system, through weight pruning to decide the number of hidden units which is the key problem for structure; Secondly, we will present some exquisite and efficient learning algorithm for split complex-valued fuzzy neural networks, such as adding penalty and momentum terms to accelerate convergence speed. Meanwhile, deterministic convergence will be analyzed; In addition, as for complex-valued fuzzy neuro system, the initialization of parameters will be discussed, in aim to accelerate the convergence speed at a minimum cost.

复值模糊神经系统是传统模糊神经系统在复数域的推广和发展，既具有学习能力，又擅长利用人的经验，从而解决许多传统技术无法解决的非线性、不确定性问题。然而，其学习算法形式复杂、网络结构庞杂等缺点是制约其进一步深入研究的瓶颈。本项目试图通过以下几个方面为模糊神经系统的结构设计和学习算法研究提供一些新的思路和方法，并将实值模糊神经系统的收敛性理论推广到更复杂、更实用的复值模糊神经系统。首先，我们将研究具有信息处理理论中新兴的L-1/2正则化方法应用于具有可分离复值模糊神经网络的剪枝问题，通过权值修剪得到隐单元个数这个决定网络结构的关键问题；其次对可分离复模糊神经网络设计更为精巧和有效的学习算法，例如在误差函数中加入惩罚项、动量项，从而加快学习初期的收敛速度，并研究学习算法的确定型收敛性；此外，拟为复值模糊神经系统提供一些新的参数初始化设计方案，从而以极小的代价达到加快学习过程收敛速度的目的。

在处理一些连续信号时，如对雷达、声纳和无线通信信号的处理, 常常涉及到复值运算。复值网络能直接处理复数信号，对基于复数信号的表示、分析和处理具有极大的便利。研究复值网络(complex-valued network，CVN)的系统逼近理论和学习算法，有着重要的理论意义和应用价值。在本项目的支持下，项目组围绕将传统模糊神经系统的复值化、复值模糊神经系统的结构及算法开展研究，取得如下成果：. （1）由于复数域的导数定义过于严苛及容易受到奇点影响导致学习失败，选择可分离复(split complex-valued)激活函数，为此采用一对有界可导实值函数分别处理信号加权的实部和虚部，然后再合成为复数信号，这个策略这可以保证学习过程中避免奇点的出现。. （2）针对现有的研究中仍存在算法表述形式复杂、网络结构庞杂和算法敛散性不明确等问题，通过引入复数域的微分中值等定理，严格证明了基于可分离复值梯度算法的弱收敛性及强收敛性。. （3）为提高学习及训练效率，针对可分离复值模糊梯度神经学习算法增加动量项来提高学习算法的收敛速度，同时增加正则项来提升系统的泛化能力。研究了关于学习、动量项、正则项参数的关系，并以此为条件证明了训练过程中权值的有界性、及算法的收敛性。. （4）将信息论中的L-1/2正则化项应用模糊神经系的剪枝问题，通过权值修剪得到隐单元个数这个决定网络结构的关键问题。在一个较大的网络中利用正则化方法去除不必要的连接，在网络结构和学习算法设计中做出具有突破性的尝试。. 在本项目的资助下，项目组已发表论文8篇，均为SCI期刊论文，并获得辽宁省自然科学学术成果奖1项。