信息论学习中在线和分布式熵算法的研究及应用

This project will investigate entropy algorithms associated with gradient descent method, online learning and distributed learning in the framework of learning theory. The gradient descent method for minimum error entropy (MEE) algorithms has been widely used in practical applications, but there has been no consistency analysis or rigorous error bounds. We shall consider the gradient descent method for MEE in both the empirical risk minimization (ERM) principle and the regularization scheme, and will obtain their explicit convergence rates. We shall discuss the learning ability of maximum correntropy criterion (MCC) with iterative regularization in the regression setting and the misclassification error for MCC when the scaling parameter is small enough. In designing entropy algorithms, the varying scaling parameter is adopted for the density approximation and the convergence rate. Online MEE algorithm and distributed MCC learning are proposed in this project, which can reduce the computational complexity on big data sets. Learning algorithms are based on samples which are often drawn independently from an identical distribution (i. i. d.). However, the i. i. d. assumption can not be strictly justified in many real-world problems. Consistency and learning rates of entropy algorithms and pairwise learning will be studied in the project when the sampling process satisfies some non-identical distributions or mixing dependent properties.

本项目将在学习理论框架下研究与梯度下降法、在线学习和分布式学习有关的熵算法。用梯度下降法实现最小误差熵(MEE)算法虽然有很广泛的应用，但是至今仍然缺乏严格的收敛性证明和误差分析。我们将考虑ERM原则和正则化MEE的梯度下降算法，并给出它们的收敛阶。本项目拟用迭代正则化方法解决回归背景下的最大相关熵(MCC)算法，并在尺度参数充分小时估计MCC算法的二分类误差。从算法的收敛速度以及密度估计的角度出发，在熵算法的设计中将采用变化尺度参数。在大数据背景下，我们提出在线MEE算法和分布式MCC算法，从而降低算法的复杂度。学习算法一般假设抽样是独立同分布，但在实际中难以实现。我们将在非一致分布和混合相依情况下，对熵算法和双样本学习的相容性和学习速率做出估计。

统计学习理论是机器学习的理论基础，为学习算法提供理论支持和依据，它通过训练样本获取学习问题的规律并提出相应的算法。本项目从统计学习理论的角度，借助逼近论和小波分析中的思想和方法来研究大规模计算中的各类低复杂度算法，以及发展信息论学习这一新型交叉领域的数学理论和应用。已取得的研究结果主要集中在以下三个方面：信息论学习的学习理论体系及其算法研究；分布式双样本学习及半监督双样本学习；大规模计算中基于梯度下降算法的学习理论及应用。这些研究为各种学习系统提供了有理论保证的熵算法，并为信息论学习的发展方向提供了新思路，同时也为分布式学习应用在人脸识别、信息检索和匹配、视频识别等实际双样本问题提供了理论基础和算法设计的指导意见，其中半监督数据在双样本学习中的应用则为充分利用数据资源提供了方向和突破了经典分布式学习算法的某些局限性。在线算法是随机梯度下降法的典型代表，也是处理流式数据的主要策略之一，本项目在各种学习背景下对它们的泛化性质进行考察，从理论上说明对应在线算法的可行性，并且可通过所得收敛速率对实际应用中的参数调整、统计解释与模型选择等学习任务做出分析和判断，同时也为包含深度学习在内的各类非凸问题求解提供新的思路。本项目所涉及的研究内容是机器学习中的热点和难点，从理论与应用层面提出并验证了机器学习算法在各类实际问题中的有效性，丰富了统计学习理论的研究内容，并为应用数学、计算机科学及信息论等多个交叉学科的发展提供了动力。