← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9693.i · 生成模型:DeepSeek-V4.1-Flash

模型自查:自诊断与自纠偏

理解等级:高级

预训练模型内部已经知道“什么样的文本是有害的”,这类方法把这部分知识读出来当分类器用,不需要任何标注数据。

自我诊断:用一个固定模板描述待检属性,让模型接着输出,比较“是”与“否”两个词元的归一化概率,谁高就判哪边。效果随模型规模上升而变好——大模型更会判断,也更容易被这样问出来。

自纠偏:把同一模板用于生成过程。先算出“含属性 y”和“不含 y”两种条件下的下一词概率之差,差值为负说明该词会抬高不良属性,再按差值大小成比例地下压其采样概率。原文报告在 RealToxicityPrompts 的困难子集上,这一策略同时降低了 6 种属性的偏见或有害性。

代价有三条:评估只用 Perspective API 的属性分,度量偏差直接成为“有效”的标准;无害词会被一起压掉,即过度过滤的早期形态——它降低的不是伤害,而是某些表达的可见度;效果上限取决于模型自身对这类偏见的“认识”,模型没意识到的偏见,问也问不出来。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第10章 减少偏见和有害性 · 查看原书依据

      但是,该策略也存在一些局限性,因为它仅使用Perspective API提供的有害性和偏见属性进行了评估。无害单词有时会被过滤,其脱毒能力也仅限于模型对相关偏见和有害性的认识。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第10章《减少偏见和有害性》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter12.xhtml) - 结论依据:原文该段以「但是,该策略也存在一些局限性,因为它仅使用Perspective A…」为中心展开,本卡的核心判断「预训练模型内部已经知道“什么样的文本是有害的”,这类方法把这部分知识读出来当分类器用,不需要任何标注数据。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:但是,该策略也存在一些局限性,因为它仅使用Perspective API提供的有害性和偏见属性进行了评估。无害单词有时会被过滤,其脱毒能力也仅限于模型对相关偏见和有害性的认识。