← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9551.j · 生成模型:DeepSeek-V4.1-Flash

数据增强的语义底线

理解等级:高级

数据增强的前提是标签在变换后仍然成立。替换、插入、删除、交换都会改变句子形态,只要核心语义不动,标签就还可靠;一旦改动触及决定标签的成分,增强就变成制造错误标注——这是比“增强无效”更严重的失败。

因此每种方法都带一条保底规则。删除必须至少留下一个词,防止句子被清空;插入与替换要限制在语义可接受的范围,同义词需与语境相容;交换不能打乱关键搭配。这些规则不是形式要求,而是保证增强样本仍属于原标签的充分条件。

收益也不是单调的。少样本场景下变体扩充能显著提升泛化,数据充足时同一套增强可能只增加训练成本,甚至因噪声拉低效果;插入位置随机还会产出不通顺的句子,需要抽查过滤。合理做法是先小规模验证增强样本质量,再决定强度与组合,而不是把四类方法全部堆上去,参见 [[四类文本增强方法]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 数据处理与数据增强 · 查看原书依据

      (1)随机删除实现:在random_deletion函数中,每个词按给定的概率p随机保留或删除,生成新的文本。确保句子中至少保留一个词,防止内容完全被删除。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第6章《数据处理与数据增强》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter010_0002.xhtml) - 结论依据:原文在随机删除的实现中要求保证句子至少保留一个词、防止内容被完全删除,体现了增强不得越过语义底线的约束。 - 原始内容:(1)随机删除实现:在random_deletion函数中,每个词按给定的概率p随机保留或删除,生成新的文本。确保句子中至少保留一个词,防止内容完全被删除。