← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9693.j · 生成模型:DeepSeek-V4.1-Flash

数据侧去毒与规模的反噬

理解等级:高级

数据侧思路是换一份更干净的语料继续预训练,让模型“忘了”有害部分。

DAPT:从大规模网页语料中筛出被判为无害的段落,在其上继续预训练。问题是筛完只剩约 2% 的文档,需要额外的数据与算力;靠继续训练覆盖旧分布,会连带损伤无害知识,典型表现是灾难性遗忘,脱毒有限而通用能力下降。

SGEAT(自生成领域自适应训练):四步——提示构建(无条件/按有害性定义人工设计/倾向无害续写三种变体)、自生成(核采样 p=0.9、温度 1、最多 1000 词元、上限 10 万文档)、用 Perspective 过滤(保留约 50% 而非 2%)、在筛出的语料上做领域自适应训练。它缓解了“教师强制训练”与“测试时自回归生成”之间的分布错位,数据效率更高,用少三分之一的语料仍优于 DAPT 基线,还能与解码期方法叠加。

规模反噬:参数越大越难脱毒。530B 模型的有害概率只降 16%,126M 模型降 27%。原因是大模型需要更多数据与更多轮次;而单纯加轮次会过拟合,伤困惑度与下游精度。想同时保住质量与脱毒,只能加数据——也就是加成本。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第10章《减少偏见和有害性》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter12.xhtml) - 结论依据:原文该段以「530B SGEAT语言模型的有害性概率仅比标准530B语言模型低1…」为中心展开,本卡的核心判断「数据侧思路是换一份更干净的语料继续预训练,让模型“忘了”有害部分。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:530B SGEAT语言模型的有害性概率仅比标准530B语言模型低16%,而126M语言模型的有害性概率则下降了27%。