差分隐私高维数据发布理论与方法研究

Differential Privacy is the state-of-the-art goal for the problem of privacy-preserving data release and privacy-preserving data mining. Existing techniques using differential privacy, however, cannot effectively handle the publication of high-dimensional data. In particular, when the input dataset contains a large number of attributes, existing methods incur higher computing complexity and lower information to noise ratio, which renders the published data next to useless. This proposal aims to reduce computing complexity and signal to noise ratio. The starting point is to approximate the full distribution of high-dimensional dataset with a set of low-dimensional marginal distributions via optimizing score function and reducing sensitivity, in which generation of noisy conditional distributions with differential privacy is computed in a set of low-dimensional subspaces, and then, the sample tuples from the noisy approximation distribution are used to generate and release the synthetic dataset. Some crucial science problems would be investigated below: (i) constructing a low k-degree Bayesian network over the high-dimensional dataset via exponential mechanism in differential privacy, where the score function is optimized to reduce the sensitivity using mutual information, equivalence classes in maximum joint distribution and dynamic programming; (ii)studying the algorithm to compute a set of noisy conditional distributions from joint distributions in the subspace of Bayesian network, via the Laplace mechanism of differential privacy. (iii)exploring how to generate synthetic data from the differentially private Bayesian network and conditional distributions, without explicitly materializing the noisy global distribution. The proposed solution may have theoretical and technical significance for synthetic data generation with differential privacy on business prospects.

差分隐私是当前解决隐私保护数据发布与数据挖掘问题最先进的技术。但现有的差分隐私技术不能有效地处理高维数据发布，当数据集包含很多属性时，差分隐私数据发布会带来计算复杂度高与信噪比低的问题，导致发布的数据无价值。本项目拟通过得分函数优化与降低敏感度的方法，以高维数据全分布逼近于一系列低维分布作为出发点，以降低计算复杂度与信噪比作为目标，在一系列低维空间中进行差分隐私的计算与加噪，用近似分布计算合成数据集进行发布。拟就几个关键问题展开研究：利用差分隐私指数机制构建高维数据集上的贝叶斯网络，探索使用互信息、最大联合分布等价类、动态规划算法对得分函数优化并降低敏感度；在低度贝叶斯网络子空间中，对联合分布使用差分隐私Laplace机制加噪，计算数据集的带噪的近似分布；在无需具体计算全分布的情况下，研究从带噪近似分布中取样记录生成合成数据集的方法。为具有商用前景的差分隐私合成数据生成提供理论与技术支持。

1、研究背景.随着移动互联、物联网、云计算技术快速发展，社交网络服务、电子商务、电子支付、基于位置服务等的空前应用，导致了大数据的产生。大数据驱动数据分析、数据挖掘以及人工智能技术的发展与广泛应用的同时，带了个人敏感信息泄露的严重威胁，引发大数据与人工智能时代的数据安全问题。.2、研究内容.本项目主要研究三个方面的内容：（1）数据发布隐私保护方法的研究。数据发布隐私保护研究的重要目标是使得发布后的数据具有较高的隐私保护度、较低的信息损失度和较好的可用性。（2）数据挖掘隐私保护方法研究。在通过数据挖掘获得有意义的信息和规则的同时，保护挖掘所使用到的数据集中的私密信息以及隐藏那些具更高敏感性的挖掘结果是数据挖掘隐私保护方法的研究内容。（3）人工智能中的数据安全问题研究。为解决机器学习领域的安全和隐私保护所涉及到的问题，本项目对模型萃取攻击、对抗攻击、成员推断攻击这三个问题进行研究，并基于这些攻击的研究成果，提出具体的防御办法。.3、研究结果与科学意义.（1）为了使数据发布尽可能地保持原始数据的特征，我们将ε-差分隐私与匿名方法相结合，从而使隐私保护框架能够有效防御大多数攻击并维护数据效用性。.（2）针对数据发布中的QI属性与SA属性的不同依赖关系，设计不同的后随机扰动方法，从理论上分析攻击者重构数据导致的隐私泄漏风险。从数据发布质量与执行效率角度，与随机响应的其他方法对比，课题组所提方法能更好地保护敏感属性并维持数据效用性。.（3）针对回归分析模型中存在的隐私泄漏的风险，课题组构建了新的差分隐私回归分析算法DPBA，可以同时应用于线性回归和逻辑回归，制定了更为合理的隐私预算分配机制并通过理论进行验证。在通用数据集上进行测试的表明，在相同隐私预算情况下，DPBA在预测准确率、ROC等多项指标上均优于其他隐私保护算法。.（4）解决计算机视觉领域的对抗样本问题，以提高对抗样本防御机制的性能为导向，通过理论和实验相结合的方式，对抗样本防御的关键问题进行了研究。结合通用的image-to-image框架pix2pix，课题组提出了一种新的对抗样本防御机制，首先，该防御机制是一种通用性的防御框架，只需要进行少量的修改就能适用与不同的场景。其次，对目前已知的攻击方法都有防御效果。第三，防御框架简单易用，且无需对目标模型进行修改。