知识卡片
模型自查:自诊断与自纠偏
预训练模型内部已经知道“什么样的文本是有害的”,这类方法把这部分知识读出来当分类器用,不需要任何标注数据。
自我诊断:用一个固定模板描述待检属性,让模型接着输出,比较“是”与“否”两个词元的归一化概率,谁高就判哪边。效果随模型规模上升而变好——大模型更会判断,也更容易被这样问出来。
自纠偏:把同一模板用于生成过程。先算出“含属性 y”和“不含 y”两种条件下的下一词概率之差,差值为负说明该词会抬高不良属性,再按差值大小成比例地下压其采样概率。原文报告在 RealToxicityPrompts 的困难子集上,这一策略同时降低了 6 种属性的偏见或有害性。
代价有三条:评估只用 Perspective API 的属性分,度量偏差直接成为“有效”的标准;无害词会被一起压掉,即过度过滤的早期形态——它降低的不是伤害,而是某些表达的可见度;效果上限取决于模型自身对这类偏见的“认识”,模型没意识到的偏见,问也问不出来。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 减少偏见和有害性 · 查看原书依据
但是,该策略也存在一些局限性,因为它仅使用Perspective API提供的有害性和偏见属性进行了评估。无害单词有时会被过滤,其脱毒能力也仅限于模型对相关偏见和有害性的认识。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第10章《减少偏见和有害性》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter12.xhtml)
- 结论依据:原文该段以「但是,该策略也存在一些局限性,因为它仅使用Perspective A…」为中心展开,本卡的核心判断「预训练模型内部已经知道“什么样的文本是有害的”,这类方法把这部分知识读出来当分类器用,不需要任何标注数据。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:但是,该策略也存在一些局限性,因为它仅使用Perspective API提供的有害性和偏见属性进行了评估。无害单词有时会被过滤,其脱毒能力也仅限于模型对相关偏见和有害性的认识。