知识卡片
随机删除与顺序交换
这两种方法针对句子成分而非词义,都不需要外部词典。
随机删除给每个词一个保留概率 p,按概率决定去留,删除后重新拼成句子。p 越大压缩越狠,模型学到的是“残缺输入仍指向原标签”的鲁棒性;p 过大会破坏语义,所以实现上要保证至少留下一个词,避免整句被删空。
随机顺序交换随机取两个不同位置互换,swap_times 控制交换次数,制造语序上的微小变化。它训练模型容忍语序扰动,但连续交换多次会让句子越来越乱,对语序敏感的任务反而有害。
两者的共同前提是核心语义不由被删的词或被打乱的顺序承载。对情感分类这类整体倾向判断,删掉几个修饰词通常无碍;对句法分析、关系抽取这类依赖结构的任务,删词与换序会直接摧毁标注所依赖的证据。它们常与替换、插入组成增强流水线,见 [[四类文本增强方法]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 数据处理与数据增强 · 查看原书依据
其他类型的文本数据增强方法包括随机删除和随机顺序交换等。随机删除是从句子中随机删除少数非关键词,保持整体语义不变;随机顺序交换则是在词语间调整顺序,制造语序的微小变化。这些方法在增强数据的同时有助于提升模型对不同表达形式的适应性。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第6章《数据处理与数据增强》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter010_0002.xhtml)
- 结论依据:原文把随机删除与随机顺序交换列为另外两类增强,说明删除保持整体语义、交换制造语序微小变化,并给出按概率 p 删除、至少保留一词的实现约束。
- 原始内容:其他类型的文本数据增强方法包括随机删除和随机顺序交换等。随机删除是从句子中随机删除少数非关键词,保持整体语义不变;随机顺序交换则是在词语间调整顺序,制造语序的微小变化。这些方法在增强数据的同时有助于提升模型对不同表达形式的适应性。