知识卡片
四类文本增强方法
文本增强可以按“动了什么”分成四类:同义词替换动词形,随机插入动词量,随机删除动成分完整性,随机顺序交换动语序。
前两类以词典为资源,需要查同义词来保证新词在语义上可接受;后两类不需要外部资源,只依赖随机策略与概率参数。这一差别决定了它们的适用面:有高质量同义词资源时,替换与插入能直接增加语义变体;资源缺乏时,删除与交换仍可提供扰动,但只改变形式,不引入新词。
四类方法共享一条底线:增强后的句子核心语义应与原句一致,否则标签不再成立。它们可以串联,逐层放大多样性,但噪声也会累积,所以实践中通常按任务选一到两种,而不是全部叠加。判断某个手段在改变输入的哪个维度,是设计增强流水线的第一步,具体机制见 [[随机插入的增强逻辑]] 与 [[数据增强的语义底线]]。
结构图:
flowchart TD
A[文本增强] --> B[同义词替换]
A --> C[随机插入]
A --> D[随机删除]
A --> E[随机交换]
B --> F[改变词形]
C --> G[增加词量]
D --> H[削减成分]
E --> I[改变语序]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 数据处理与数据增强 · 查看原书依据
在自然语言处理中,数据增强不仅仅是简单地增加数据量,还包括生成更多语义多样的文本变体。常见的增强方法包括同义词替换和随机插入等,这些操作能在不改变文本核心语义的前提下增加数据的多样性。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第6章《数据处理与数据增强》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter010_0002.xhtml)
- 结论依据:原文把同义词替换、随机插入、随机删除与随机顺序交换并列为常见增强手段,并强调它们在不改变核心语义的前提下增加多样性。
- 原始内容:在自然语言处理中,数据增强不仅仅是简单地增加数据量,还包括生成更多语义多样的文本变体。常见的增强方法包括同义词替换和随机插入等,这些操作能在不改变文本核心语义的前提下增加数据的多样性。