支持向量机及聚类问题中的光滑逼近技术研究

为了提高支持向量机和聚类算法的泛化性能、加快其学习速度、增强学习过程的健壮性能、探索新型高效学习算法，本项目研究支持向量回归机、半监督支持向量回归机以及聚类中心问题中的新光滑逼近技术．具体内容包括：寻求逼近精度更高的光滑函数，理论上严格证明所提的光滑函数逼近性能的优越性；构造光滑或半光滑问题的支持向量机、半监督支持向量回归机以及光滑聚类中心算法的优化模型，根据它们的凹凸性寻找新型高效的算法求解规划的全局最优解．从理论上证明新型光滑算法的收敛性，并计算它们的收敛上界．传统的研究主要是基于统计学习理论及各种应用领域的，而该项研究结合最优化理论和方法、函数逼近论及集合论的方法，积极吸收图论、信息安全和信号处理的最新成果，力求提出效率高、泛化能力强、所需的存储空间小、易于编程实现的光滑算法．本课题既注重理论与应用的前瞻性，又注重新方法的实用性．

如何提高支持向量机和聚类算法的泛化性能、加快其学习速度、增强学习过程的健壮性能是目前研究的热点和难点，本项目借助光滑技术展开研究，期望得到新型高效学习算法． 经过三年的努力工作，课题组在各个方面都取得了重要进展，基本达到了申请书上的研究目标，具体内容包括： . 1) 基于分类的光滑支持向量机研究．对光滑技术在支持向量机中的应用进行了更深层次地研究，构造了几类逼近能力更强的光滑函数，建立了新的光滑支持向量机模型，分析了光滑函数逼近性能，并进行了新的光滑支持向量机的收敛性证明；2) 基于回归的光滑支持向量机研究．寻求逼近精度更高的几类光滑函数，理论上严格证明所提的光滑函数逼近性能的优越性；将光滑技术用于支持向量回归机，提出了光滑支持向量回归机模型，根据模型的光滑性能，用高效的优化算法求解；3) 光滑半监督支持向量机研究．为了处理训练半监督支持向量机算法中每次循环都需要求解二次规划而带来的效率低下的问题，通过将正号函数展开为无穷多项式级数，由此得到了一族光滑函数，得到多项式光滑函数对无约束半监督优化问题进行逼近，并用共轭梯度算法求解模型；4) 光滑聚类中心问题研究．先用分段熵函数逼近聚类中心问题模型中的不可微部分，再用光滑共轭梯度法求解光滑后的非凸规划问题的全局最优点，取得了不错的聚类效果；5) 光滑p范数支持向量机算法及性能研究．将p范数与多项式光滑支持向量机结合，提出了p范数光滑支持向量机．针对该模型的目标函数的非光滑特性，采用熵函数和指数光滑函数对模型中的p范数部分分别进行光滑处理，得到两个p范数光滑支持向量机(Lp-PSSVM1和Lp-PSSVM2)．用快速的Newton Armijo求解两个光滑支持向量机模型．6) 实际应用．光滑支持向量机在人脸识别、铁塔损伤结构识别等问题中的应用，均取得了不错的结果．研究了基于小波有限元多尺度损伤模型和基于粒子群光滑支持向量机方法的铁塔损伤定量方法，为铁塔结构损伤定量识别提供新理论与技术．. 以上研究均从理论上证明新型光滑算法的收敛性，并计算它们的收敛上界．该项目结合了最优化理论和方法、函数逼近论及集合论的方法，积极吸收了图论、信息安全和信号处理的最新成果，最终提出了一些高性能的光滑算法．