知识卡片
偏见度量的三种参照系
同样是“模型有没有偏见”,换一个参照系就得到不同的问题与不同的数字。
| 参照系 | 问法 | 典型指标 | 回答不了什么 |
|---|---|---|---|
| 刻板印象 | 只改人口属性词,输出分布变多少 | 同一模板下男/女补全的差异 | 变化多大才算有害 |
| 代表性 | 生成分布是否贴合真实人群分布 | 与普查数据逐格对比的均方误差 | 现实本身是否就是应该追求的目标 |
| 反事实 | 交换属性词后语义是否应保持不变 | 交换前后输出一致性 | 哪些属性交换才“应当”不变 |
以 GPT-2 为例:预测职业的多样性低于现实,对女性比男性更刻板,尤其在性别-种族对上;把各格比例与美国市场数据比对后,模型被认为反映了美国社会的倾斜,并高估女性的职业聚类。
这套方法的局限写在设计里:以美国为中心;只报性别-种族对,其他交叉维度无法比较;官方统计本身缺一些职业类目。更根本的一点是把“贴近某国现实”当作“无偏见”,而现实分布本身可能就是偏见的产物——度量选哪种参照系,等于先回答了“公平是什么”。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 减少偏见和有害性 · 查看原书依据
研究表明,GPT-2模型预测的工作岗位多样性较低,女性比男性更刻板,特别是在性别-种族对方面。因此,GPT-2模型能够反映美国社会的性别和种族倾斜,并可能高估女性的职业聚类。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第10章《减少偏见和有害性》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter12.xhtml)
- 结论依据:原文该段以「研究表明,GPT-2模型预测的工作岗位多样性较低,女性比男性更刻板,…」为中心展开,本卡的核心判断「同样是“模型有没有偏见”,换一个参照系就得到不同的问题与不同的数字。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:研究表明,GPT-2模型预测的工作岗位多样性较低,女性比男性更刻板,特别是在性别-种族对方面。因此,GPT-2模型能够反映美国社会的性别和种族倾斜,并可能高估女性的职业聚类。