优化算法的鲁棒性分析与差分隐私保护算法设计

Through machine learning, we can conveniently learn the knowledge and leverage it from the tremendous data. However, data entailing personal privacy may also be accessed in theory. Therefore, how to deal with the new challenges it poses to individual privacy protection is an urgent problem to be tackled. Moreover, the dramatically expanding data often fail to provide effective information, while most data are mere noises. This phenomenon leads to the second problem: how to increase the robustness of machine learning techniques so as to eliminate the negative results induced by noises.
.Hence, based on the research of the robustness of the learning algorithm, this project aims to design machine learning algorithms guaranteeing both robustness and privacy protection. Firstly, a commonly used robustness analysis framework will be designed, so as to propose suitable optimization algorithms for different differential privacy problems. Secondly, a new robust differential privacy algorithm based on empirical risk minimization model will be proposed; Thirdly, we will also present a novel differential privacy algorithm via minimizing the maximal loss. Finally, how to design an effective multi-task learning algorithm is also the problem we will solve on the premise of ensuring both the differential privacy and robustness.

通过机器学习技术，我们可以方便地从海量数据中发现知识并加以应用。然而，理论上机器学习也能从数据中分析出个人相对隐私的信息，如何应对它对个人隐私保护提出的新挑战是一个亟待解决的问题。另一方面，数据呈爆炸式增长，但大部分信息都是噪声、有效信息却非常有限，我们需要更加鲁棒的机器学习技术来抵御噪声对分析和学习所得到结果的影响。. 本课题希望从算法的鲁棒性研究出发，着重考量算法鲁棒性和隐私保护问题之间的联系，设计有效的隐私保护算法。课题研究的主要内容包括，设计一套比较常用的算法鲁棒性分析框架，为不同的差分隐私问题提出合适的优化算法；基于鲁棒性设计经验风险最小化模型的差分隐私算法；提出一种新的最小化最大风险模型的差分隐私算法；此外，如何在保证差分隐私和鲁棒优化的前提下，设计有效的多任务学习算法也是我们需要解决的问题。

按照原计划，本课题的在研期间主要分为三个阶段。在研期间实验室分工明确，计划清晰，有条不紊按计划攻克科研难关，切实地按期保质保量完成了科研计划，在科学研究和人才培养方面都取得了一定成果。. 在课题的第一个研究阶段，我们将主要精力放在了本课题下属的优化算法的基本理论分析和改进方法研究中。在本阶段，我们着重研究了深度神经网络以及稀疏数据模型中优化算法的基本问题：算法的收敛性和鲁棒性问题。在分析过程中，我们对二阶拟牛顿优化算法、深度学习对抗样本问题，以及投影梯度算法等理论问题进行了研究，发现了一批具有理论研究价值和实际应用前景的基础问题并以此为契机提出了若干改进方法的成果，对相应领域的理论框架和基本方法做出了积极的贡献。. 在课题的第二阶段，我们主要研究解决了本课题下属的隐私保护和多任务学习算法问题。我们分析了多任务学习任务中可能存在的模型间隐私泄露问题，并提出了一种新的隐私保护多模型算法。已有工作提出的隐私保护多任务学习算法只保护了数据实例，没有保护模型，而且其中一些算法可能在模型表现上不如单任务学习算法。我们在差分隐私的基础上构建算法，同时提供了隐私保证和效用上界，并考虑到了异构隐私预算问题，该算法可以保护每一个任务的模型信息不会泄漏到其他模型，并在理论上保证不差于单任务学习方法。. 在课题的第三个研究阶段中，我们将已有的多任务优化和隐私保护的方法应用于更加广泛的场景中，比如联邦学习和算法公平性问题研究中。在这一阶段，我们从受约束的多目标优化的角度学习一个在所有客户端上满足公平性约束且性能一致的模型。综合实验表明，我们的方法优于基线，并且在实现客户端的公平性和一致性有明显提升，有较强应用潜力。