知识卡片
对抗训练在嵌入层加扰动
对抗训练的目的是让模型在输入被微小扰动时仍给出正确判断。在文本任务中,扰动不是替换字符,而是在嵌入层做文章:文本先经过嵌入得到向量序列,再在向量上加一个幅度受控的扰动(示例中强度取 1e-3),得到对抗样本。这样做的原因是嵌入空间连续,微小改动仍对应合法的语义邻域,而离散的字符替换容易破坏语法。
训练时,正常样本与对抗样本各算一次损失,取平均后反向传播。模型因此同时被要求”在原始输入上正确”和”在扰动后仍正确”,后者相当于对决策边界施加平滑约束。
扰动幅度是核心权衡:太小则对抗样本与原始输入几乎相同,起不到正则作用;太大则标签本身不再成立,等于教模型学习错误映射。这种训练提升的是局部稳定性,代价是部分模型容量被用于平滑边界,干净数据上的精度可能略有下降。
与数据增强的区别在于目标:增强用保标签的随机变换扩充数据,扰动则以”让模型出错”为方向构造最难样本。参见 [[下游指标检验特征质量]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 对比学习与对抗训练 · 查看原书依据
在对抗训练中,将输入文本进行嵌入,生成初始特征表示,随后在嵌入空间内添加微小扰动来生成对抗样本。模型会在标准样本和对抗样本上进行共同训练,从而使模型适应并抵抗微小扰动的影响。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第8章《对比学习与对抗训练》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter012_0004.xhtml)
- 结论依据:原文说明对抗训练把文本嵌入后在嵌入空间加微小扰动生成对抗样本,并让模型在标准样本与对抗样本上共同训练以抵抗扰动。
- 原始内容:在对抗训练中,将输入文本进行嵌入,生成初始特征表示,随后在嵌入空间内添加微小扰动来生成对抗样本。模型会在标准样本和对抗样本上进行共同训练,从而使模型适应并抵抗微小扰动的影响。