模糊神经网络光滑化算法和最速下降算法的研究

Combing neural networks and fuzzy system, this project studies smoothing algorithm and steepest descent algorithm for training fuzzy neural networks to improve the learning efficiency of fuzzy neural networks, and analyzes convergence and stability for the algorithms to ensure the feasibility of them, and thus to provide some new ideas and theoretical bases for the applications and studies of fuzzy systems and neural networks, and furhter to promote the development of cross-disciplinary. The specific research topics include: (1) Using smoothding method to approximate the Input/Output relationship of fuzzy neural networks whose inner operations are based on the max-min logical operations, we design new efficient learning algorithms to train the network parameters and analyze the convergence and stability of the algorithms. (2) Appliying our obtained ideas and results of the improved offline learning algorithm for 0 order T-S fuzzy system, we design online learning algorithms and extend these algorithms and results to higher order fuzzy systems to provide viable and efficient algorithms for the automatic optimization of fuzzy system parameters. Moreover, we analyze the convergence and stability of these algorithms. (3) To delete the number of fuzzy rules and, to some extent, solve the curse of dimensionality of fuzzy rules, the grey relation pruning algorithm of feedforward neural networks is used to delete the number of neurons of neuro-fuzzy system model.

本项目结合神经网络和模糊逻辑系统，研究基于模糊逻辑运算的模糊神经网络光滑化学习算法和最速下降学习算法，以提高模糊神经网络的学习效率，并对学习算法进行收敛性和稳定性分析以保证算法的可行性，为模糊系统和神经网络的应用和研究提供一些新的思路和理论依据，从而进一步推动交叉学科的发展。具体研究内容包括：① 利用光滑化技巧去逼近内部运算基于取大取小模糊逻辑运算的模糊神经网络输入/输出关系，设计出新的高效学习算法来训练网络参数，并分析算法的收敛性和稳定性。② 将已得到的0阶T-S神经模糊系统的改进离线学习算法思路和结论，运用到在线算法的设计，并推广到更高阶模糊系统，为模糊系统参数的自动优化提供高效可行的学习算法，并分析算法的收敛性和稳定性。③利用前馈神经网络的灰色关联剪枝算法来删减神经模糊系统模型中神经元的个数,从而达到删减模糊系统中的模糊规则数的目的，一定程度上解决模糊规则的维数灾难问题。

模糊系统和神经网络是两种主要智能信息处理技术，各有其优缺点。模糊神经网络正是为发挥两者优势将模糊信息处理技术和神经网络技术进行有机结合的产物。随着两者理论研究的深入和应用范围的拓广，模糊神经网络学习算法的设计和理论分析面临一些新的挑战和困难，从而需要采用新的数学方法和工具从学习算法和相应理论方面加以研究。为此，本项目主要开展了如下研究：①基于max-min和max- product逻辑运算的模糊神经网络光滑化算法的研究，从函数逼近的角度，采用一类光滑函数来逼近模糊神经网络的输入-输出关系，基于梯度下降构造出新的学习算法，并从数学上严格推导出光滑函数的逼近精度和学习算法的收敛性问题。②自适应神经模糊系统（ANFIS）学习算法与系统结构优化的研究，借助于我们已得到的0阶T-S神经模糊系统的改进离线学习算法思路，设计了一种改进的在线梯度学习算法，并证明了在一定条件下该学习算法的确定收敛性。此外，在系统误差函数中引入Group Lasso正则项，利用解的稀疏性特性来实现系统结构的优化，通过光滑函数来逼近正则项，从而基于梯度下降来构造学习算法，并证明了算法的强（弱）收敛性。③模糊控制器和模糊系统逼近能力的研究。利用多变量泰勒展开式研究变论域模糊系统逼近能力，证明变论域模糊系统具有高精度逼近能力，并给出了变论域模糊系统作为逼近器的充分条件。同时，利用变论域法提出了一种高精度的模糊控制器，通过在线压缩和扩展运算产生模糊规则，从而提高控制器的输出精度。本项目首次将光滑逼近方法运用到模糊逻辑系统自适应学习算法的构造，并从数学上严格证明了算法的收敛性问题，为模糊系统和神经网络的应用和研究提供一些新的思路和理论依据，从而进一步推动交叉学科的发展。