知识卡片
有害性打分器的陷阱
Perspective API 是广泛使用的有害内容打分服务,对一条文本给出有害性、严重有害性、侮辱、亵渎、身份攻击、威胁、性暗示等属性的分数。三个容易误用的地方:
分数不是严重程度。0 到 1 表示“这条消息含有该属性的可能性”,类似二分类器的置信度。0.9 不代表“非常有害”,只代表“很像会被标为有害的那类文本”。
忽略标注者与社会语境。训练与评估不区分标注者身份,也不建模话语发生的场景,因此标注一致性偏低,分数在跨群体时不稳定。
身份词带来系统性偏移。某些群体称谓出现的文本,现实中收到攻击性回复的比例更高,模型学到“出现该词→更可能有害”,于是对这些群体的正常表述给出更高分。
这三点合起来意味着:把 Perspective 当裁判来评估去毒方法,会把度量偏差变成优化目标的偏差——方法会学会压低某些群体的可见度,而不是减少伤害。它是可用的规模化工具,但需要人工校验与分层报告。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 减少偏见和有害性 · 查看原书依据
每个分值的范围从0到1,表示消息包含特定属性的可能性,类似于二元分类器的置信度。值得注意的是,得分并不表示该属性的严重程度。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第10章《减少偏见和有害性》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter12.xhtml)
- 结论依据:原文该段以「每个分值的范围从0到1,表示消息包含特定属性的可能性,类似于二元分类…」为中心展开,本卡的核心判断「Perspective API 是广泛使用的有害内容打分服务,对一条文本给出有害」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:每个分值的范围从0到1,表示消息包含特定属性的可能性,类似于二元分类器的置信度。值得注意的是,得分并不表示该属性的严重程度。