多方联合深度学习中用户数据隐私泄露问题研究

In recent years, benefiting from high-performance computing hardware, deep learning has become a rising star in machine learning field. Deep learning has been widely studied and applied in scientific research and industry. In the era of pervasive computing and big data, more and more applications focus on data and keep people oriented. Deep learning is no exception. More and more deep learning algorithms begin to focus on smart mobile devices. Many mature deep learning algorithms for smart mobile devices have been developed. However, many serious privacy disclosure issues have been identified in collaborative deep learning. Especially when malicious participants take advantage of generative adversarial networks, the data privacy of the target participant will be easily acquired. By now, this is still an open question. The privacy issues in collaborative deep learning have been increasingly serious, and it is urgent to put forward a powerful privacy preserving scheme. This project aims to use our latest research found, a new differential privacy mechanism for collaborative deep learning. We aim to find out the potential threat of privacy in collaborative deep learning. Our goal is to design a new privacy-preserving collaborative deep learning platform for smart mobile devices and cloud computing environment.

近年来，深度学习借助高性能的计算硬件设备成为机器学习领域的黑马，在科研领域和工业界得到了广泛的研究和应用。处在普世计算和大数据时代，越来越多的应用注重以数据为本、以人为本，深度学习也不例外。越来越多的深度学习算法开始关注智能移动设备，并且已经有很多成熟的适用于智能移动设备的联合深度学习算法被开发出来。然而，在多方的联合深度学习中，越来越多，越来越严重的隐私泄露问题被披露出来。尤其是在恶意参与者利用生成对抗网络发起攻击的情况下，目标参与者的数据隐私会被轻易获取，并且目前仍没有找到防御该攻击的方法。多方参与的联合深度学习中的隐私问题已经日趋严峻，亟需提出高效强力的隐私保护方案。本项目拟利用团队最新的研究发现，一种全新的适用于深度学习的差分隐私技术方案，对多方参与的联合深度学习进行深度研究，找出其中的潜在隐私泄露威胁，设计全新的适用于智能移动设备和云计算服务模式的隐私保护的联合深度学习平台。

深度学习算法中的模型训练需要依赖大量的数据样本，这些数据样本往往产生、存储于多个不互信的个人、组织或机构，来自于单方的数据通常面临着数量或质量不足的问题。在这样的现状下，去中心化的联合深度学习算法已经成为机器学习领域中的热门课题，其中的隐私问题更是研究的重要难题之一，本项目的主要研究就是围绕多方联合深度学习中用户数据隐私泄露问题这一重要难题而展开。.本项目围绕多方联合深度学习中用户数据隐私泄露问题这一核心课题，从多方联合深度学习的基础架构隐私保护和上层应用隐私保护两个层面开展研究。在第一个层面，我们着重研究了在多方联合深度学习的基础架构中的通讯协议、存储架构和数据采集中的隐私保护。在第二个层面，我们着重研究了用户隐私风险识别的关键技术，并在此基础上设计并实现了用户隐私保护算法和深度学习服务系统。项目相关研究成果已发表或录用论文31篇，其中包括 IEEE Trans.系列期刊论文11篇，CCF推荐的A类会议及期刊12篇。申请专利27项，其中授权8项。培养毕业博士研究生3人，硕士研究生10人。.通过本项目的实施，基本完成了项目计划的预期目标，为多方联合深度学习中不同层面的用户数据隐私泄露问题提供了一系列有效的、经过验证的解决方案，同时也为多方联合深度学习研究的进一步发展打下了坚实的基础。