知识卡片

普通读书笔记卡 · 8428.a.2.a.2 · 生成模型:未记录

模型输出也会泄露数据

理解等级:中级

模型输出、版本差异或嵌入表征可能包含关于训练数据的线索,即使没有直接导出原始记录也会有泄露风险。隐私边界应覆盖服务反馈和更新过程。部分恢复、成员判断和模型窃取是不同能力,评估时须分别描述。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 网络安全 模型攻击面与防御研究问题 · 查看原书依据

      在线学习先后两个版本的不同输出数据,泄露相应的更新训练数据集的信息,损害模型所有者的知识产权和数据隐私。研究嵌入模型的数据泄露攻击技术,利用嵌入向量反转,部分恢复输入数据,通过仅在少数标记的嵌入向量上训练推理模型,提取敏感信息。 在成员推断

    参考来源

    - 位置:《人工智能安全》网络安全,模型攻击面与防御研究问题(源项目a19c7933-4eda-4176-aebd-30fe7e1ad292,源文件:extracted/人工智能安全/_epub-src/EPUB/xhtml/Section0001_0009.xhtml) - 结论依据:原文对该概念的说明、比较或案例支撑本卡解释;书中历史数据与技术预测保留原有时点,不当作当前已验证结论。 - 原始内容:在线学习先后两个版本的不同输出数据,泄露相应的更新训练数据集的信息,损害模型所有者的知识产权和数据隐私。研究嵌入模型的数据泄露攻击技术,利用嵌入向量反转,部分恢复输入数据,通过仅在少数标记的嵌入向量上训练推理模型,提取敏感信息。 在成员推断