知识卡片
鲁棒聚合核心
联邦学习的聚合服务器若直接对参与方更新取平均,少数恶意客户端就能用异常梯度把全局模型拉偏。鲁棒聚合的核心是先识别并限制单点影响:比如Krum计算每个梯度与其他梯度的距离和,把距离过远的判定为拜占庭参与方并剔除,且只有在参与方数n满足n>2b+3时才理论上能容忍b个攻击者;坐标中值、截尾均值则用中位数或去掉极值的均值代替简单平均。[[联邦学习矛盾]]指出梯度会泄露隐私,这里进一步说明梯度也会被当作攻击载体。代价是剔除或截尾会损失部分正常信息,参与方数据非独立同分布时异常更新与正常差异难以区分,容忍攻击的数量越高可用信息越少,需要在统计效率与攻击容忍度之间权衡。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 数据安全:防御 5.3.4.2 投毒攻击与防御 · 查看原书依据
以经典的鲁棒聚合算法Krum 为例,其出发点是计算单个参与方梯度与其他参与方梯度的距离和,将距离和较远的参与方判定为潜在的拜占庭攻击者,在服务器梯度聚合时将其剔除,不纳入计算。
参考来源
- 位置:《人工智能数据与模型安全 (姜育刚马兴军吴祖煊)》第5章《数据安全:防御》(源文件:extracted/人工智能数据与模型安全 (姜育刚马兴军吴祖煊)/_epub-src/EPUB/xhtml/chapter10_0004.xhtml)
- 结论依据:联邦学习的聚合服务器若直接对参与方更新取平均,少数恶意客户端就能用异常梯度把全局模型拉偏。鲁棒聚合的核心是先识别并限制单,原文从「5.3.4.2 投毒攻击与防御」处给出对应机制与依据,支撑本卡结论。
- 原始内容:以经典的鲁棒聚合算法Krum 为例,其出发点是计算单个参与方梯度与其他参与方梯度的距离和,将距离和较远的参与方判定为潜在的拜占庭攻击者,在服务器梯度聚合时将其剔除,不纳入计算。