非凸非光滑优化的神经网络设计及其关键问题研究

Nonconvex nomsmooth optimization problems are related to many fields of science and engineering applications, which are research hotspots in the world. Designing an effective neural network model to solve the nonconvex nomsmooth optimization problems and studing its key issues will have certain theoretical significance and practical value. The main works of this research are as follows. (1) For the lack of neural network based on early penalty function for nonsmooth optimization problems, a recurrent neural network model is proposed by using Lagarange multiplier penalty function to solve the nonconvex nonsmooth optimization problems, and its related properties are studied. The penalty factor in this network model is variable, and without calculating initial penalty factor value , the network can still guarantee convergence to the optimal solution,which is more convenient for network computing. Thus this research provides a new way to solve this problem.(2) The traditional recurrent neural network is easily trapped into local minimums. To overcome the shortage, the transiently chaotic mechanism is introduced to the proposed recursive neural network to improve the global search ability. Moreover, parameters conditions for producing chaos behavior are proposed, and the influence of transiently chaotic parameters on the efficiency and accuracy in optimization is studied, which helps for the selection of appropriate transient chaos parameters.

非凸非光滑优化问题涉及科学与工程应用的诸多领域，是目前国际上的研究热点。提出一种有效解决非凸非光滑优化问题的神经网络模型并对其关键问题进行研究将具有一定的理论意义和实用价值。本课题的主要工作有（1）针对已有基于早期罚函数神经网络解决非光滑优化问题的的不足，借鉴Lagarange乘子罚函数的思想拟提出一种有效解决非凸非光滑优化问题的递归神经网络模型并研究其相关性质。该网络模型的罚因子是变量，且无需计算罚因子的初始值仍能保证神经网络收敛到优化问题的最优解，更加便于网络计算。因此为解决此类问题提供了一个新的途径。（2）针对传统递归神经网络易于"陷入"局部最小值的缺点，在所提出解决非凸非光滑优化问题的递归神经网络模型基础之上，引入暂态混沌机制以提高其全局搜索能力。同时提出满足混沌产生的参数条件，以及研究暂态混沌参数对寻优过程的时间效率和准确性的影响，为选择合适的暂态混沌参数提高依据。

非凸非光滑优化问题涉及科学与工程应用的诸多领域，是目前国际上的研究热点。提出有效解决非凸非光滑优化问题的神经网络模型并对其关键问题进行研究将具有一定的理论意义和实用价值。本课题的主要工作有（1）针对已有基于早期罚函数神经网络解决非光滑优化问题的的不足，借鉴Lagarange乘子罚函数的思想提出了两种有效解决非凸非光滑优化问题的递归神经网络模型并研究其相关性质。该网络模型的罚因子是变量，且无需计算罚因子的初始值仍能保证神经网络收敛到优化问题的最优解，更加便于网络计算。（2）针对目标函数是非李普西茨的优化问题，提出了一种光滑神经网络模型。此模型通过引进光滑逼近技术将目标函数由非光滑函数转换成相应的光滑函数并结合惩罚函数方法所构造而成。理论证明了对任意初始点，光滑神经网络的解都具有一致有界性和全局性，且光滑神经网络的任意聚点都是原始优化问题的稳定点。（3）针对带不等式及等式约束的非凸非光滑优化问题，提出了一种基于“反作用力”机制的神经网络。在一定的假定条件下，对任意起始点，该网络的任意解是全局存在且一致有界的，同时它会在有限时间收敛到可行域。此外，对任意起始点，网络可收敛到原问题的关键点集。值得一提的是，所提出的网络不要求：1) 可行域有界；2)预先估计一个精确的罚因子； 3) 初始点在一个给定的有界区域内选择。（4）针对传统递归神经网络易于“陷入”局部最小值的缺点，在所提出解决非凸非光滑优化问题的递归神经网络模型基础之上，引入暂态混沌机制以提高其全局搜索能力。此外对混沌参数提出了优化策略以提高网络的有效性。