知识卡片
随机插入的增强逻辑
随机插入不替换原词,而是从句中挑一个词,取它的同义词,插到句子的随机位置上,使句子变长、词语组合变多。
流程分三步:随机选定一个词,查它的同义词列表,再用随机数决定插入位置,把新词塞进词序列。原始词汇全部保留,因此语义主干比替换更完整;但插入位置是随机的,词可能落进不合适的句法槽位,产生不通顺的表达。书中的增强结果里就出现了“自然语言处理和发展前进”这类别扭组合,正说明位置随机会带来语法代价。
它的价值在于制造词序与搭配的多样性,让模型见过更多非常规但可理解的形式,对输入扰动不敏感;风险是噪声随插入次数上升,插得越多越可能偏离原意。实践上应控制每条样本的插入次数,并在增强后抽查质量,而不是无条件扩大数据量。参见 [[同义词替换如何增强]] 与 [[数据增强的语义底线]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 数据处理与数据增强 · 查看原书依据
随机插入是一种增强数据多样性的技术,它通过在句子中随机插入相关词汇,使语句在保持原有语义的同时增加词语组合的多样性。从而增强模型的泛化能力。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第6章《数据处理与数据增强》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter010_0002.xhtml)
- 结论依据:原文指出随机插入在保持原语义的同时增加词语组合多样性,实现上随机选词、取同义词并以随机位置插入;运行结果也呈现了插入后的语序变化。
- 原始内容:随机插入是一种增强数据多样性的技术,它通过在句子中随机插入相关词汇,使语句在保持原有语义的同时增加词语组合的多样性。从而增强模型的泛化能力。