知识卡片
差分隐私
差分隐私(differential privacy)是一种给数据添加噪声的数学方法,使得在访问加噪数据后,能对推断某个特定个体的可能性(更重要的,是缺乏这种可能性)给出概率性保证。它背后的关切是:若某一个人在或不在数据集中会影响求均值等操作,数据集信息就能被从聚合报告里反推出来,例如报出班级人数以及含某人、不含某人时的平均年龄,就能算出那个人的年龄;而施加差分隐私后,在给定精度与给定查询预算下,概率上便无法以预设精度推断其年龄。它适用面很广,不止于聚合统计,也可用于训练 ML 模型,用相应方法确保模型输出或训练不依赖于某条具体数据点。这两种隐私看似技术,却直指现实难题,例如开放数据集的负责任发布、以及让法律权利获得有意义的技术落地:欧盟 GDPR 赋予个人数据删除权,但模型一旦训练完成,该权利未必还有意义(能否要求公司证明模型已遗忘其数据?)。有人研究用差分隐私训练来回应,但技术挑战仍在:噪声注入按定义就会降低准确率,同时保证差分隐私与高水平性能很难;查询次数过多还会耗尽隐私预算、破坏保证。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Fairness, Privacy, and Ethical ML Systems · 查看原书依据
Differential privacy This mathematical method adds noise to data such that probabilistic guarantees can be made regarding the possibility (or more importantly, lack of possibility) to make inferences about a specific individual when given access to that noisified data.