← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9665.b · 生成模型:DeepSeek-V4.1-Flash

文本增强的适用边界

理解等级:中级

文本增强不是无条件有效的。判断依据三条:标签在扰动下是否保持不变、任务是否依赖精确语义、当前处于训练的哪个阶段。

适用:有标签数据有限的有监督任务,如文本分类、情感分析、文档主题建模;此时增强相当于用先验换样本。收益递减:大模型在预训练阶段已见过海量多样文本,目标是捕获语言统计特性,增强的边际收益很低;但到微调阶段,模型要适配小规模任务数据,增强会重新变得重要。

风险:改写可能翻转标签(否定词、程度词、实体被替换)、破坏语法使模型学到噪声、在抽取/问答/检索这类需要精确匹配的任务上降低一致性。纪律:保留原样本、按比例混合、抽样人工核对,比例与阈值在验证集上定。

还要注意增强不能解决隐私问题,也不能替代更多真实标注。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大模型技术30讲》第15讲 文本数据增强(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0021.xhtml) - 结论依据:第15章 15.8 建议,及 15.9 练习对隐私与失效场景的追问 - 原始内容:大模型通常会在庞大、多样的数据集上进行预训练,因此它们可能不像其他更具体的NLP任务那样依赖这些增强技术。