← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9551.d · 生成模型:DeepSeek-V4.1-Flash

同义词替换如何增强

理解等级:中级

同义词替换在保持句子语义不变的前提下换掉部分词语,用同一个意思的另一种说法扩充训练样本。

实现依赖词典:先查目标词的所有词义集合,遍历其中每个词义下的词汇,收集与原词不同的词作为候选;再从候选里随机取一个替换原位置。随机性出现在两处——句子中选哪个词替换、候选里选哪个同义词,因此同一句话多次增强会得到不同变体。对数据集逐条执行,就得到一列新的增强文本。

它适用于少样本与鲁棒性训练:样本少时,替换能低成本扩展表达形式,让模型不因用词差异而误判。局限在词典覆盖与语境:多义词若取错义项,替换后语义会偏移;专业术语常常查不到合适同义词。所以它更适合情感、主题这类对个别词不敏感的任务,而对实体识别、术语抽取这类任务风险较高。它与 [[随机插入的增强逻辑]] 共享同一套词典资源,差别在替换还是新增。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 数据处理与数据增强 · 查看原书依据

      同义词替换是一种有效的文本数据增强方法,它通过替换原句中的部分词语为其同义词,来生成多样化的语句,增加训练数据的语义多样性,从而提升了模型的泛化能力。该方法尤其适用于少样本学习和提升模型的鲁棒性。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第6章《数据处理与数据增强》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter010_0002.xhtml) - 结论依据:原文说明同义词替换通过把部分词换成同义词生成多样语句,并借助 WordNet 查词义集合后随机选取同义词完成替换。 - 原始内容:同义词替换是一种有效的文本数据增强方法,它通过替换原句中的部分词语为其同义词,来生成多样化的语句,增加训练数据的语义多样性,从而提升了模型的泛化能力。该方法尤其适用于少样本学习和提升模型的鲁棒性。