利用“反作用力”及Tikhonov正则机制解决非凸非光滑优化问题的神经网络方法研究

Nonconvex nomsmooth optimization problems are related to many fields of science and engineering applications, which are research hotspots in the world. However, there are the following shortcomings in the neural networks that have been proposed to solve nonconvex nonsmooth optimization problems. （1）The penalty factor must be calculated before executing the network to ensure that the neural network converges to the key point set. But in some cases, the penalty factor is hard to calculate; (2）the feasible region requires to be bounded; (3）the initial point of the network can only be selected in a given sphere, and thus the neural network is not globally convergent; (4）the objective function requires a lower bound in the equality constraint region.To overcome these shortcomings, we propose the idea of "reaction force" and use Tikhonov regularization method to propose a more convenient and effective neural network model for solving nonconvex and nonsmooth optimization problems. Meanwhile, its related properties are studied. Therefore, this project will have a certain theoretical significance and practical value.

非凸非光滑优化问题涉及科学与工程应用的诸多领域，是目前国际上的研究热点。然而，目前所提出解决非凸非光滑优化问题的神经网络存在以下不足：1）必须在网络执行之前计算出罚因子的值才能保证神经网络收敛到关键点集，而在某些情况下罚因子是难以计算的；2）要求可行域有界；3）不具有全局收敛性，网络初始点只能在给定的球体内选择；4）目标函数要求在等式约束区域内有下界。为克服以上不足，本课题提出“反作用力”思想并借鉴Tikhonov正则方法提出一种解决非凸非光滑优化问题更加方便、有效的神经网络模型，同时对其相关性质展开研究。因此，本项目将具有一定的理论意义和实用价值。

非凸非光滑优化问题涉及科学与工程应用的诸多领域，是目前国际上的研究热点。提出有效解决非凸非光滑优化问题的神经网络模型将具有一定的理论意义和实用价值。本课题的主要工作有（1）针对基于传统惩罚法的神经网络存在的不足，提出了几种基于“反作用力”思想的神经网络以解决非凸非光滑优化问题。其核心思想是，在使网络状态变量向可行域靠近的力前面加一个罚函数。该函数可随目标函数产生的力增加而增加，最终使得网络状态解能够在有限时间内进入到可行域，并最终收敛到原问题的关键点集合。该神经网络具有以下优点：可行域可以有界；无需计算精确的罚参数；初始点可任意选择。（2）针对非李普西茨目标函数的优化问题，构造了一种光滑神经网络模型。此模型通过引进光滑逼近技术将目标函数由非光滑函数转换成相应的光滑函数并结合惩罚函数方法所构造而成。该神经网络的初始点可任意选取，且无需精确的罚参数和投影算子，其状态解能在有限时间内进入到可行域并驻留其中，且网络的任意聚点都是原始优化问题的广义稳定点。（3）针对一类带约束的复变伪凸优化问题提出一种单层神经网络。在有限时间内该模型的解轨迹将进入可行域，最终收敛于复变伪凸优化问题的一个最优解。与目前已有方法相比，该神经网络不需要计算精确惩罚参数，对初始点选取没有特殊要求，网络结构简单。（4）针对一类带约束的非光滑伪凸优化问题，基于正则机制提出一种单层递归神经网络。其正则项保证了网络状态解的有界性，进而保证状态解在有限时间内收敛到可行域内，最终收敛到原问题的一个最优解。与现有的算法相比，该神经网络具有以下优点：网络的层数仅为单层；无需计算惩罚因子；无需目标函数有下界；初始点可任意选取。