统计学习理论中的分位数回归和MEE算法

The least-square method has been widely studied for regression analysis in the literature of learning theory. In this project we shall study quantile regression and minimum error entropy criteria based on the empirical risk minimization principle by methods from approximation theory. For quantile regression, a kernel-based online learning algorithm will be considered to get sparse properties and learning rates will be given to measure the learning ability of the algorithm. By means of noise conditions and comparison theorems, approximation analysis will be conducted for quantile regression with unbounded sampling and multivariate data. For minimum error entropy criteria, we shall prove consistency of the algorithm and present convergence rates when the scaling parameter is large. Asymptotic behaviors of the algorithm will be discussed when the parameter becomes small. Regularization schemes for minimum error entropy criteria in reproducing kernel Hilbert spaces will be analyzed with learning rates derived by error decomposition techniques.

最小二乘方法在统计学习理论的回归分析中已有很广泛的研究，本项目将利用逼近论方法，采用经验风险最小化准则考虑学习理论中的分位数回归与最小残差熵(MEE)方法。为使算法具有稀疏性，我们将在线算法与带阈值的分位数回归问题结合，分析算法的学习能力。同时，我们通过噪声条件和比较原则，导出空间分位数和无界分位数情况下的算法误差。在MEE算法中，我们首先会在大尺度参数下，证明算法的一致性，并给出算法的收敛速度。接下来我们通过逼近论的方法，分析MEE算法在尺度参数变小时的渐近性质。最后我们用误差分解的方法讨论再生核希尔伯特空间中正则化MEE算法的学习速率。

本项目主要针对统计理论中的分位数回归以及信息论中的熵算法进行研究。分位数回归比经典最小二乘法更能表现出输出空间和输入空间之间的关系，在处理方差异常或重尾分布有显著优势，使算法具有稳定性。在线分位数回归算法将在线算法和分位数的损失函数结合，从支持向量机的角度考虑算法在学习过程中的误差和学习速度，通过调整参数提高算法的有效性。最小误差熵考虑了误差的所有阶数，使算法不再局限高斯噪声，比最小二乘算法适用更广。我们在不同尺度参数下考虑算法的表现。在大尺度参数下，最小误差熵算法与回归分析紧密相关，我们在经验风险最小化原则下研究了其与回归函数的的误差。进一步，我们考虑了在尺度参数充分小的情况下，算法的一致性。