知识卡片
成员推理风险
成员推理攻击通过观察模型对样本的输出,判断某个样本是否参与过训练。其成立的关键在于模型对训练数据与未见数据的表现存在差异:过拟合或高置信度会让成员样本的输出分布与非成员明显不同,攻击者据此训练一个二分类器即可区分。于是隐私风险的关注点从“数据是否公开”转向“模型是否记住了某条数据”——即便数据从未对外发布,只要被训练过就可能被推断出来。防范思路是抑制这种可分辨差异,例如通过正则化、差分隐私或输出平滑来降低模型对训练样本的过度自信。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 数据安全:攻击 4.2.1 成员推理攻击 · 查看原书依据
成员推理攻击(membership inference attack,MIA)的主要思想是利用目标模型在训练数据和测试数据上的不一致性来推理某一样本是否在目标模型的训练数据中。通过判定某个样本是否存在于训练数据集中,攻击者可以进一步猜测样本所属的类别以及其他一些隐私信息
参考来源
- 位置:《人工智能数据与模型安全 (姜育刚马兴军吴祖煊)》第4章《数据安全:攻击》(源文件:extracted/人工智能数据与模型安全 (姜育刚马兴军吴祖煊)/_epub-src/EPUB/xhtml/chapter9_0003.xhtml)
- 结论依据:成员推理攻击通过观察模型对样本的输出,判断某个样本是否参与过训练。其成立的关键在于模型对训练数据与未见数据的表现存在差异,原文从「4.2.1 成员推理攻击」处给出对应机制与依据,支撑本卡结论。
- 原始内容:成员推理攻击(membership inference attack,MIA)的主要思想是利用目标模型在训练数据和测试数据上的不一致性来推理某一样本是否在目标模型的训练数据中。通过判定某个样本是否存在于训练数据集中,攻击者可以进一步猜测样本所属的类别以及其他一些隐私信息