安全的差分私有随机梯度下降

安全的差分私有随机梯度下降

基于安全多方计算的机器学习，简称多方学习（multi-party learning，简称MPL），已成为利用多方数据保护隐私的重要技术。 虽然 MPL 为计算过程提供了严格的安全保证，但 MPL 训练的模型仍然容易受到仅依赖于对模型的访问的攻击。 差异隐私可以帮助抵御此类攻击。 然而，差分隐私带来的精度损失和安全多方计算协议的巨大通信开销使得平衡隐私、效率和精度之间的三向权衡极具挑战性。 在本文中，我们有动力通过提出一种解决方案来解决上述问题，称为 PEA（私有、高效、准确），它由一个安全的差分私有随机梯度下降（简称 DPSGD）协议和两个优化 - 化方法。 首先，我们提出了一个安全的 DPSGD 协议来在基于秘密共享的 MPL 框架中实施 DPSGD，这是一种流行的差分隐私机器学习算法。 其次，为了减少差分隐私噪声导致的精度损失和MPL巨大的通信开销，我们针对MPL的训练过程提出了两种优化方法：（1）数据无关的特征提取方法，旨在简化训练模型 结构; (2) 基于局部数据的全局模型初始化方法，旨在加快模型训练的收敛速度。 我们在两个开源 MPL 框架中实现了 PEA：TF-Encrypted 和 Queqiao。 各种数据集上的实验结果证明了 PEA 的效率和有效性。 例如。 当 ε = 2 时，我们可以在 LAN 设置下在 7 分钟内为 CIFAR-10 训练出准确率为 88% 的差分隐私分类模型。 这一结果明显优于 CryptGPU 的结果，CryptGPU 是一种最先进的 MPL 框架：在 CIFAR-10 上以相同的精度训练非私有深度神经网络模型需要 16 个多小时。