知识卡片
文本增强的适用边界
文本增强不是无条件有效的。判断依据三条:标签在扰动下是否保持不变、任务是否依赖精确语义、当前处于训练的哪个阶段。
适用:有标签数据有限的有监督任务,如文本分类、情感分析、文档主题建模;此时增强相当于用先验换样本。收益递减:大模型在预训练阶段已见过海量多样文本,目标是捕获语言统计特性,增强的边际收益很低;但到微调阶段,模型要适配小规模任务数据,增强会重新变得重要。
风险:改写可能翻转标签(否定词、程度词、实体被替换)、破坏语法使模型学到噪声、在抽取/问答/检索这类需要精确匹配的任务上降低一致性。纪律:保留原样本、按比例混合、抽样人工核对,比例与阈值在验证集上定。
还要注意增强不能解决隐私问题,也不能替代更多真实标注。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第15章 文本数据增强 · 查看原书依据
大模型通常会在庞大、多样的数据集上进行预训练,因此它们可能不像其他更具体的NLP任务那样依赖这些增强技术。
参考来源
- 位置:《大模型技术30讲》第15讲 文本数据增强(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0021.xhtml)
- 结论依据:第15章 15.8 建议,及 15.9 练习对隐私与失效场景的追问
- 原始内容:大模型通常会在庞大、多样的数据集上进行预训练,因此它们可能不像其他更具体的NLP任务那样依赖这些增强技术。