非凸稀疏学习理论与分布式优化算法研究

In the current era of “Big Data + Machine Learning”, one of the key demanding problem in machine learning and artificial intelligence is about how to handle ultra-large-scale data. Among others, sparse learning and deep learning are two main stream approaches in large-scale learning. Although having gained significant success in the last decades, these approaches still have room for deep investigation in theory completeness, algorithm scalability and model applicability. Particularly, there is a recent trend of energy-efficient and interpretable machine learning, which raises the following important question: how to develop efficient sparse learning methods and distributed computing framework for non-convex learning models like deep neural networks, so as to reduce energy consumption while improving computational efficiency and model transparency. To address these key issues, this project plans to investigate non-convex spare learning theory, distributed optimization and computer vision applications. The main topics to be explored include: statistical and computational learning theory for non-convex sparse learning; communication-efficient sample/feature-distributed non-convex sparse optimization algorithms; and graphical models and deep neural networks oriented distributed non-convex sparse learning with applications to computer vision. The project is expected to generate novel results in theory, algorithms and applications for non-convex sparse learning, and push forward the frontline of resource-friendly and interpretable large-scale machine learning.

在当前“大数据+机器学习”研究背景下，如何处理超大规模数据分析问题是机器学习和人工智能领域亟需解决的关键科学问题之一。稀疏学习和深度学习作为大规模机器学习的主流方法，近年来都取得了巨大的发展，但是在理论完备性、计算扩展性和模型可部署性等方面仍然有待深入研究。特别是在当前资源节约型和可解释机器学习已经形成显著趋势的背景下，如何面向深度神经网络等大规模非凸学习模型建立高效完善的稀疏学习机制和分布式计算框架，以降低系统能耗、提高计算效率和模型透明度是一个重要研究课题。本项目针对这一关键问题，拟深入开展非凸稀疏学习理论、分布式算法和视觉应用研究。主要研究内容将涵盖非凸稀疏学习统计和计算学习理论、通信高效的分布式非凸稀疏优化算法、面向概率图模型和深度神经网络的分布式稀疏学习方法及视觉应用等。预期将产生一系列非凸稀疏学习理论、算法和应用创新学术成果，推动资源节约型和可解释大规模机器学习技术的发展。

本项目的主要研究方向是稀疏学习理论和分布式计算方法。在基金的资助支持下，我们研究团队对非凸稀疏学习理论、分布式稀疏与随机优化算法，联邦学习理论与算法、元学习和自监督学习理论与算法等基础问题进行了深入的研究，项目主要研究内容如下：..a)非凸稀疏学习理论与算法。主要研究硬阈值追踪算法泛化理论、迭代阈值追踪算法的稳定性与泛化理论、对偶稀疏优化算法等。..b)分布式稀疏与随机优化算法 主要研究拟牛顿分布式稀疏优化算法、分布式近似牛顿算法、微批次近邻混合随机优化算法、Lookahead随机优化算法、黎曼流形上的非凸随机优化算法等。..c)联邦学习理论与算法。主要研究异构联邦学习算法的收敛及泛化性能分析、基于隐式随机梯度下降的联邦学习算法等。 ..d)元学习和自监督学习理论与算法。主要研究基于优化的元学习泛化理论和准则函数设计、基于稀疏优化准则的多任务少样本元学习方法、泛化理论启发的鲁棒自监督学习方法、以及相关方法在图像分析问题中的应用等。..项目组严格按照项目计划进度要求，圆满完成了预期研究任务。至结题之时，已在国内外权威期刊以上、国际国内重要会议上发表论文31篇，其中SCI期刊论文9篇（其中SCI一区2篇，CCF A类5篇），国际会议论文16篇（其中CCF A类7篇），核心期刊6篇。项目负责人在国际学术会议作特邀报告1次, 国内学术会议(论坛)特邀报告3次。相关研究成果获得2021年江苏省科学技术奖一等奖，2019年腾讯AI研究院犀牛鸟专项研究及访问学者计划优秀奖等奖励。2019年作为负责人入选江苏省高校优秀科技创新团队。授权发明专利1项，申请发明专利1项，取得软件著作权2项。培养博士研究生2人，硕士研究生8人。..本项目取得研究成果意义包括两方面：一方面，侧重解决了若干基础性的关键科学问题，在前沿机器学习理论特别是高维稀疏学习和分布式/联邦学习理论与算法方面取得重要进展。另一方面，兼顾视觉识别关键技术的研究与开发，特别是基于网络稀疏化和少样本元学习的视觉表示、检测与识别技术，相关成果进一步推进了图像分析技术的应用水平。