知识卡片
联邦学习矛盾
联邦学习针对的是数据孤岛与集中收集带来的隐私风险:各参与方只上传梯度或参数,不交出原始数据,服务器聚合后共同训练全局模型,在手机输入法上的应用是其早期典范。但这种范式只是改变了数据流动方式,并未自动消除安全问题。梯度虽不等同于原始数据,仍可能泄露参与方的样本、成员或属性信息,恶意服务器甚至能借梯度反推隐私;同时参与方上传的更新若被投毒或植入后门,会污染全局模型并影响所有人。因此联邦学习把矛盾从要不要集中数据转移为如何在不暴露本地数据的前提下验证更新是否可信,隐私防护与鲁棒聚合必须作为配套机制一起设计,而不能指望架构本身一劳永逸。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 数据安全:防御 5.3.4 隐私与安全 · 查看原书依据
然而,联邦学习也面临新的隐私和安全问题,例如在参与方-服务器架构中,恶意服务器可能会利用参与方上传的梯度信息反推其隐私信息,或者在训练过程中篡改相关信息;恶意参与方可能会窥探其他参与方的隐私信息,或者通过向服务器发送恶意梯度信息破坏全局模型。
参考来源
- 位置:《人工智能数据与模型安全 (姜育刚马兴军吴祖煊)》第5章《数据安全:防御》(源文件:extracted/人工智能数据与模型安全 (姜育刚马兴军吴祖煊)/_epub-src/EPUB/xhtml/chapter10_0004.xhtml)
- 结论依据:联邦学习针对的是数据孤岛与集中收集带来的隐私风险:各参与方只上传梯度或参数,不交出原始数据,服务器聚合后共同训练全局模型,原文从「5.3.4 隐私与安全」处给出对应机制与依据,支撑本卡结论。
- 原始内容:然而,联邦学习也面临新的隐私和安全问题,例如在参与方-服务器架构中,恶意服务器可能会利用参与方上传的梯度信息反推其隐私信息,或者在训练过程中篡改相关信息;恶意参与方可能会窥探其他参与方的隐私信息,或者通过向服务器发送恶意梯度信息破坏全局模型。