知识卡片
什么算有害:定义与情境
有害性(toxicity)的一个可用定义是:粗鲁的、不尊重的、不合理的,让人想要退出对话的内容。它不是“包含脏话”,而是一种对话效果。
两类受害者:一是系统用户,可能收到聊天机器人的有害回复,或被自动补全塞进有害建议;二是用户生成内容的接收者,社媒上他人发布的内容可能伤人,无论发布者是否有恶意。
判定依赖情境。同一句话在争吵、玩笑、引用、自我指涉中出现,性质不同;连“有害程度”的打分也随语境漂移,原文举的例子是某条指责对方无知与偏执的评论被评为约 70% 有害。
因此“看到就知道”的标注方式不可靠:没有脏词的文本也可能有害(暗示、贬低、去人化),有脏词的文本也可能无害(引用、 reclaimed 用法、医学讨论)。这也是后面所有自动检测手段的共同前提——检测器学的是一批标注者在特定语境下的判断,而不是某种客观属性。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 减少偏见和有害性 · 查看原书依据
Borkan et al(2019)将有害性定义为任何“粗鲁的、不尊重的或不合理的、会让人想要离开对话的内容”。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第10章《减少偏见和有害性》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter12.xhtml)
- 结论依据:原文该段以「Borkan et al(2019)将有害性定义为任何“粗鲁的、不尊…」为中心展开,本卡的核心判断「有害性(toxicity)的一个可用定义是:」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:Borkan et al(2019)将有害性定义为任何“粗鲁的、不尊重的或不合理的、会让人想要离开对话的内容”。