← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9693.f · 生成模型:DeepSeek-V4.1-Flash

有害性打分器的陷阱

理解等级:高级

Perspective API 是广泛使用的有害内容打分服务,对一条文本给出有害性、严重有害性、侮辱、亵渎、身份攻击、威胁、性暗示等属性的分数。三个容易误用的地方:

分数不是严重程度。0 到 1 表示“这条消息含有该属性的可能性”,类似二分类器的置信度。0.9 不代表“非常有害”,只代表“很像会被标为有害的那类文本”。

忽略标注者与社会语境。训练与评估不区分标注者身份,也不建模话语发生的场景,因此标注一致性偏低,分数在跨群体时不稳定。

身份词带来系统性偏移。某些群体称谓出现的文本,现实中收到攻击性回复的比例更高,模型学到“出现该词→更可能有害”,于是对这些群体的正常表述给出更高分。

这三点合起来意味着:把 Perspective 当裁判来评估去毒方法,会把度量偏差变成优化目标的偏差——方法会学会压低某些群体的可见度,而不是减少伤害。它是可用的规模化工具,但需要人工校验与分层报告。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第10章《减少偏见和有害性》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter12.xhtml) - 结论依据:原文该段以「每个分值的范围从0到1,表示消息包含特定属性的可能性,类似于二元分类…」为中心展开,本卡的核心判断「Perspective API 是广泛使用的有害内容打分服务,对一条文本给出有害」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:每个分值的范围从0到1,表示消息包含特定属性的可能性,类似于二元分类器的置信度。值得注意的是,得分并不表示该属性的严重程度。