神经网络随机学习算法的泛化性研究

The generalization ability of algorithm is one of the main stand quality to evaluate learning algorithm, and is one of the hot topics in machine learning research.This project is combined with "information theory", "approximation theory" and "stochastic approximation" in subjects such as theory and method, from the view of stochastic approximation, around upper and lower bound of generalization error of neural network stochastic approximation, sparse approximation for the three aspects of the study are as follows: (1) upper and lower of neural network stochastic learing algorithm are estimated by using approximation theory 、neural network、stochastic approximation and some probabilities; (2) sparse approximation of neural netqork is studied by using the way of compressed sensing; (3) application of neural network stochastic learning algorithm will be used in ranking problem. This project aims to study generalization error of learning algorithm and sparse approximation. We not only improve the upper bound of generalization error, but also obtain the lower bound. And then we give the essential approximated order of generalization performance and provide research approach and method of neural network learning.

算法的泛化能力是评价一个机器学习算法优劣的主要标准之一,也是当今机器学习研究的热点之一。本项目拟综合"信息论"、"逼近论"和"随机优化"等学科中的理论和方法，从随机逼近的角度，围绕神经网络随机学习算法泛化误差的上、下界估计和稀疏逼近等问题开展如下三方面研究:(1)利用函数逼近论中的正、逆定理、神经网络、随机逼近以及有关概率不等式，研究随机学习算法的泛化性与泛化误差的上、下界估计等问题；(2)利用压缩感知等方法研究神经网络的稀疏逼近。(3)神经网络随机学习算法的泛化结果在排序问题中的应用。本项目的研究意义在于采用随机逼近方法解决神经网络随机学习算法中的泛化误差估计和稀疏逼近等问题，不仅提高已有随机学习算法泛化误差的上界，而且给出该误差的下界估计，进而获得神经网络随机学习算法泛化性能的本质逼近阶，为神经网络学习算法的泛化性研究提供了新的研究途径和方法。

算法的泛化能力是评价机器学习算法优劣的主要标准之一,也是当今机器学习研究的热点之一。本文综合“信息论”、“逼近论”和“随机优化”等学科中的理论和方法，从随机逼近的角度，围绕神经网络随机学习算法泛化误差的上、下界估计和学习算法等问题获得了若干新的理论结果:（1）对于神经网络随机学习问题，构造了一种前向神经网络并研究了其对连续函数以及护可积函数的逼近误差，去掉了以前的文献中要求激活函数为奇函数的限制，提出了新的网络参数的设置。首先借助于概率不等式以及神经网络的逼近性质，分析了随机学习算法泛化性质，给出了泛化误差的上界估计。（2）在大数据的应用中，经常会遇到具有大量观测值的大规模数据集。为了处理这些大规模数据集，可以利用分布式学习算法进行处理。本文中，我们解决了分布式内核回归（DKR）问题这一根本问题，其中算法的可行性由估计量的泛化性能来度量。为了证明DKR的合理性，需将泛化误差分成样本误差、逼近误差和假设误差三部分进行估计，尤其是针对假设误差的研究，这在大数据设置中带来了新的挑战性问题。我们发现，利用核字典的样本集合，通过适当的样本分割，DKR会产生一个与未知回归函数泛化一致的估计量。这个结果理论上证明DKR是合理的，并通过数据实验进一步验证分布式算法的可行性。（3）当神经网络的神经元数大于样本容量时，就会出现过拟合问题，这是因为出现了比实际数据还多的参数（即变量个数多于约束条件个数）。为了克服过拟合问题，我们通过一个不需要满足压缩条件(RIP)的压缩映射减少神经网络中的神经元数。通过运用概率不等式和前向神经网络（FNNS）的逼近性质，我们证明了在压缩空间而不是原始空间解决前向神经网络随机学习算法虽然是以增加逼近误差为代价来降低样本误差，但是逼近误差的增量是可控的。