知识卡片

普通读书笔记卡 · 9557.a · 生成模型:DeepSeek-V4.1-Flash

同义词替换与随机插入做增强

理解等级:中级

文本增强在少样本微调里用来扩充表面形式而不改变标签。原文给了两种最轻的做法:同义词替换,把句子中的若干词换成近义词;随机插入,在随机位置插入一个词。两者都不改类别,却让模型见到更多词序与措辞变体,降低对特定表达的依赖。

机制上这是”标签保持变换”:只要替换与插入不改变情感或主题,监督信号仍然成立。边界也正好在这里——同义词替换若换掉的恰是情感词,标签就被破坏;随机插入若插进否定词,语义直接反转。所以增强强度要保守,扩充后的样本应人工抽查,而不是无条件信任规则。

另一个约束是作用范围:增强只应施加于训练集,验证集与测试集必须保持原始分布。若把增强样本混进评估集,测出来的就不再是真实泛化能力,而只是”模型见过这类改写”的程度。

原文的运行结果把清洗、去重、分割与增强串成一条链,说明增强是数据准备的最后一步,位置在 [[少样本数据的清洗与三分]] 之后。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 模型微调实战 · 查看原书依据

      在微调过程中,数据增强有助于提升模型在少样本场景下的表现。以同义词替换和随机插入为例,以下代码将展示如何进行简单的文本数据增强:

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第12章《模型微调实战》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter016_0001.xhtml) - 结论依据:原文在 12.1.3 指出数据增强有助于提升少样本表现,并以同义词替换和随机插入作为两种示例方法。 - 原始内容:在微调过程中,数据增强有助于提升模型在少样本场景下的表现。以同义词替换和随机插入为例,以下代码将展示如何进行简单的文本数据增强: