← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9693.d · 生成模型:DeepSeek-V4.1-Flash

偏见度量的三种参照系

理解等级:高级

同样是“模型有没有偏见”,换一个参照系就得到不同的问题与不同的数字。

参照系 问法 典型指标 回答不了什么
刻板印象 只改人口属性词,输出分布变多少 同一模板下男/女补全的差异 变化多大才算有害
代表性 生成分布是否贴合真实人群分布 与普查数据逐格对比的均方误差 现实本身是否就是应该追求的目标
反事实 交换属性词后语义是否应保持不变 交换前后输出一致性 哪些属性交换才“应当”不变

以 GPT-2 为例:预测职业的多样性低于现实,对女性比男性更刻板,尤其在性别-种族对上;把各格比例与美国市场数据比对后,模型被认为反映了美国社会的倾斜,并高估女性的职业聚类。

这套方法的局限写在设计里:以美国为中心;只报性别-种族对,其他交叉维度无法比较;官方统计本身缺一些职业类目。更根本的一点是把“贴近某国现实”当作“无偏见”,而现实分布本身可能就是偏见的产物——度量选哪种参照系,等于先回答了“公平是什么”。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第10章 减少偏见和有害性 · 查看原书依据

      研究表明,GPT-2模型预测的工作岗位多样性较低,女性比男性更刻板,特别是在性别-种族对方面。因此,GPT-2模型能够反映美国社会的性别和种族倾斜,并可能高估女性的职业聚类。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第10章《减少偏见和有害性》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter12.xhtml) - 结论依据:原文该段以「研究表明,GPT-2模型预测的工作岗位多样性较低,女性比男性更刻板,…」为中心展开,本卡的核心判断「同样是“模型有没有偏见”,换一个参照系就得到不同的问题与不同的数字。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:研究表明,GPT-2模型预测的工作岗位多样性较低,女性比男性更刻板,特别是在性别-种族对方面。因此,GPT-2模型能够反映美国社会的性别和种族倾斜,并可能高估女性的职业聚类。