回归函数梯度的随机逼近快速算法研究及应用

The gradient of regression function can provide feature variable selection and dimension reduction information for high dimensional data at the same time. This project will utilize related methods in function approximation theory, probability theory, functional analysis, and optimization theory, etc.， to design semi-supervised learning algorihms for the gradient under manifold assumption and study their genaralization properties. Consider the consistency and genaralization error of learning gradient algorithms based on dependent and identical data. Study construction and properties of kernel functions based on spherical data and analysis the generalization error of the gradient learning algorithms from this kind of data. On the basis of the above studies,develop and improve the approximation theory for gradient function based on different types of data, design fast learning algorithms, establish the relationship between the data distribution and the generalization performance of the learning algorithms.Using related algorithms to the dimension reduction for remote sensing image data and 3D face data.

回归函数的梯度能够同时提供高维数据特征变量选择和维数约简信息。本项目拟综合利用函数逼近论、概率论、泛函分析和最优化理论中的相关方法，设计流形假设下半监督函数梯度学习算法，研究其推广性能；研究及相依同分布数据下的函数梯度学习算法的一致性与推广误差估计；研究球面上的核函数构造与性质，对基于该类型数据的梯度学习进行误差分析。在以上研究的基础上发展和完善基于不同类型数据的回归函数梯度逼近理论，设计快速学习算法，建立数据分布规律与学习算法的推广性能之间的关系。将相关算法应用于遥感图像数据和三维人脸数据的维数约简中。

在项目执行期内，本项目组按照项目的研究计划，完成了主要研究任务。在项目执行期间，共发表6篇学术论文，其中SCI收录3篇，EI收录1篇。而且，项目组成员积极参加国际国内学术会议，并将机器学习算法应用于电力行业数据分析中，为电力部门提供解决方案. 同时，项目组负责人受澳大利亚拉筹伯大学计算机学院王殿辉教授邀请访学，合作开展了基于复杂数据的快速学习算法设计课题研究。培养硕士研究生1名，在读硕士研究生2名。.本项目旨在针对实际应用中数据的分布不独立，特征维数高等特点，设计恰当的学习算法，对算法相关的理论基础进行分析，对算法的实现以及与已有算法的比较进行研究。主要完成了：（1）针对相依关系数据，设计了随机梯度学习算法和基于距离相似性正则化偏最小二乘算法。在分布满足一定的假设条件下，对算法的收敛性进行了评估及对实际效果进行了验证.（2）提出了和空间中的正则化学习算法，基于核函数，输入空间，边缘分布和回归函数满足一定条件下，建立了其学习误差界. （3）针对电力行业数据流特性，建立了相依学习模型，设计了自适应的混合随机逼近算法，为相关预测问题提供了解决方案. 同时，针对图像处理领域中的含噪图像，提出了分数阶梯度混合的正则化变分算法，在有效去除噪声的同时能较好保留图像的细节。