知识卡片

普通读书笔记卡 · 9457 · 生成模型:Claude Opus 4.6

鲁棒训练取舍

理解等级:高级

鲁棒训练把防线前移到训练阶段,目标是在投毒样本混入数据集时仍学出干净模型。它依靠损失下降速度、样本一致性等间接信号区分好坏数据:例如只在损失较小的样本子集上训练,或把数据集切分为多个子集,各训练一个基模型再投票预测。真正的难点是防御者往往不知道是否被投毒,也不知道比例和具体样本,只能借助这些弱信号,因此效果受前提假设约束。与事先清洗数据相比,它容忍坏数据存在、在训练中动态剔除;取舍在于过滤越激进越容易误删正常样本、损害准确率与覆盖率,过滤不足又会留下后门。随着大规模预训练普及,在污染数据上稳健学习的能力越发重要。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《人工智能数据与模型安全 (姜育刚马兴军吴祖煊)》第5章《数据安全:防御》(源文件:extracted/人工智能数据与模型安全 (姜育刚马兴军吴祖煊)/_epub-src/EPUB/xhtml/chapter10_0002.xhtml) - 结论依据:鲁棒训练把防线前移到训练阶段,目标是在投毒样本混入数据集时仍学出干净模型。它依靠损失下降速度、样本一致性等间接信号区分好,原文从「5.1 鲁棒训练」处给出对应机制与依据,支撑本卡结论。 - 原始内容:我们在很多时候并不知道数据是否被投毒,也无法估计被投毒的比例有多大、样本有哪些,也就很难设计高效的鲁棒训练方法。