论文分享 | 基于LWE(Learning with Error)的高效联邦学习安全聚合
摘要
本文介绍Timothy Stevens等2022年发表在USENIX Security Symposium中的文章“Efficient Differentially Private Secure Aggregation for Federated Learning via Hardness of Learning with Errors”。
联邦学习利用边缘计算从用户数据中训练模型，此过程中用户的隐私易泄露仍然是一大主要挑战。使用差分隐私技术可在一定程度保护用户数据隐私，然而早期大部分技术需要可信第三方的参与，否则会因增加太多噪声而导致生成的模型可用性较低。最近的安全聚合技术使用多方安全计算（MPC）技术消除了需要第三方的需求，但随着用户规模的扩大，方案的计算效率不够理想。本文基于Learning With Errors（LWE）技术实现了新型高效且满足差分隐私的安全聚合协议。实验结果表明与现存具有差分隐私的联邦学习安全聚合方案相比，本文安全聚合协议在不损失模型精度的前提下，性能优于当前大部分技术。
论文名称：Efficient Differentially Private Secure Aggregation for Federated Learning via Hardness of Learning with Errors
论文链接：https://www.usenix.org/conference/usenixsecurity22/presentation/stevens
方法
将安全聚合与差分隐私相结合，可以确保联邦学习中端到端的隐私。如图1所示，安全聚合允许系统中心合并所有用户的更新，而不会泄露任何单一用户的更新。基于差分隐私的方法为每个用户的更新添加噪声，以确保训练过的模型不会暴露用户数据的信息。
图1 安全聚合与差分隐私
为减少使用MPC求和时向量的维度，本文所用的LWE技术如图2所示，敌手已知 计算出满足等式的 是困难的。
图2 LWE困难问题
如图2中的LWE实例所示，通常的维度高于的维度。但现有大部分方案中均使用作为客户端数据的掩码，并且在抵消掩码时也需要完成对的聚合。本文在保证安全性的同时实现通信开销降低的原因是：方案使用作为客户端隐私数据的掩码的前提下，只需完成的聚合就可消除掩码。与现有大部分方案相比客户端实际需要交互的数据维度有所降低，从而有效降低了通信开销。此外，本文方案安全性正是基于LWE困难问题。
图3 本文技术核心
本文方案使用的流程如图4所示，具体包含如下三个步骤:
第一步：
每个Client在本地生成LWE困难问题 ，并将得到的 与其持有的秘密值 （通常为梯度）进行添加掩码的操作得到 ，然后将 发送给Data Curator。
第二步：
Client通过MPC协议，得到所有 的和 并发送给Data Curator。
第三步：
Data Curator可以将收到的所有进行 聚合得到 ，由于 是系统中的公开参数，因此可计算得 ，最终可计算得到所有Client秘密持有的 与秘密值 之和 为 。
图4 系统流程
因此，本文方案最终得到的值中包含了每个Client生成LWE困难问题中的error之和，该值满足差分隐私，如图5所示。
图5 聚合噪声
具体算法
本文提出的Masking Aggregation算法如图6所示。
上述算法中的 算法，如图7所示。
实验结果
最后，本文分别使用MNIST和CIFAR-10数据集对方案的通信开销和模型训练准确性进行了大量实验，实验结果如图8所示。可见本文方案在不损失训练模型准确性的前提下，通信开销有了明显的降低。
对联邦学习安全聚合方法感兴趣的小伙伴，可以点击横向联邦学习下隐私保护安全聚合：问题，方法，与展望进一步了解！
本文参考：Crypto Lab
分享仅供学习参考，若有不当，请联系我们处理。
往期推荐
1.笔记分享 | 组队学习密码学（2）——密码学在联邦学习中的应用
2.密码学中的模乘算法——巴雷特模乘(Barrett Modular Multiplication)pFedPT：将prompt学习融入进联邦学习4.密码学中的模乘算法——蒙哥马利模乘（Montgomery Modular Multiplication）